DataOops : savoir-faire et compétences réunies autour des sujets données et DevOps. On y parle : - databases & performances : techniques d'optimisations, bonnes et mauvaises pratiques, détections des problèmes et même de hardware et de cloud - modélisations des données : les différents types de modélisation et leur spécificités. - devops : des bases du devops aux éléments les plus pointus et bien sur les liens entre les 3 domaines Retrouves nous sur https://www.dataoops.org pour plus de détails.
…
continue reading
Le balado pour les agilistes qui souhaitent bonifier leurs pratiques.
…
continue reading
1
Episode 52 : Iceberg et Delta, Migration de bases de données, Evidence.dev : Reports as Code
52:17
52:17
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
52:17
Episode timelineDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 51 : DuckDB v1.1 vs PostgreSQL v17 / SQL en difficulté
1:04:10
1:04:10
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:04:10
Episode timelineDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 50 : Performance d’un stockage physique récent | L’audit de sécurité dans SQL Server et PostgreSQL | Stockage objet
Dans cet épisode ont parle de Performance d'un stockage physique recent et la comparaison avec ce que l'on peut avoir sur du cloud public.De l'audit de sécurité dans SQL Server et PostgreSQL.Du stockage objet (S3 et Ceph), Cloud (ou pas)De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
On parle : Migration/Transfert de données inter-databases et les problématiques de collations associées. Puis discussions sur les collations : performances, impactsUn REX sur un dataoops sur les datatypes text/varchar entre postgresqle et mssqlLes grands cas d'usage IA : détectionDevOx : retour d'Adrien sur ce qui lui a plus : Alto et Park et l'AGC…
…
continue reading
On parle indexation dans les bases de données relationnelles et en particulier PostgreSQL, MSSQL et Oracle : index Btree, GIN, GIST, partiel ou filtré, couvrant, columnstore, FullText, Spatial, BRIN, Bitmap...Une heure de comparaison entre les 3 grands SGBDRDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 47 : PostgreSQL : MVCC et Vacuum – PowerBI : Analyser les performances – Modélisation One Big Table et le stockage colonne à la rescousse – Détection d’anti-pattern dans MSSQL
Retour pgday Paris.PostgreSQL : MVCC et Vacuum.PowerBI : Analyser les performances et quelques conseils pour les optimiser.OBT : modélisation One Big Table et le stockage colonne à la rescousse.Clause Non-Sargable et détection d'anti-pattern avec les extended events sur MSSQLDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 46 : Adrien Nayrat nous rejoint pour parler postgresql – DuckDB v0.10 – C/C++ bannis par les USA ?
Adrien Nayrat un spécialiste postgresql rejoint l'équipe Dataoops, il se présente et en profite pour nous rappeler l'histoire de postgresql et glisser quelques conseils sur les extensions. La deuxième partie concerne DuckDB et les nouveautés de la v0.10 ainsi que des remarques sur une nouvelle concernant les languages C/C++ considérés comme "à risq…
…
continue reading
1
Episode 45 : Chargement massif 1 Milliard de lignes dans un columnstore SQL Server en 6min, DuckDB v0.10, MS Fabrics et Vacuum
1:07:09
1:07:09
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:07:09
Comment accélérer un chargement massif dans un columnstore sur SQL Server : un retour d'expérience approfondi avec 1 milliard de lignes chargé en 6 minutes.DuckDB passe en v0.10 et stabilise son stockage.MS Fabric annonce que le Vacuum sera bientot possible et voici pourquoi c'est une bonne chose...De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 44 : REX dataoops modélisation et postgresql performance, DuckDB stars, MS Fabric ratio prix/performance
1:06:09
1:06:09
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:06:09
REX sur des erreurs de modélisation avec des vues trop imbriquées, performance postgresql windows vs linux. DuckDB une star sur Github qui rejoint Postgresql. MS Fabric des prix d'appel pour les entreprises avec un ratio prix/performance attractif.De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 43 : bilan 2023 une année spéciale pour la data avec l’émergence de l’IA et la progression des stockages objets et lakehouse
1:02:01
1:02:01
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:02:01
Episode 43 : bilan 2023 avec les lakehouses, la gouvernance des données, les bases de données vectorielles, les IA génératives et autres LLM, Oracle Cloud et les bases AutonomousDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 42 : MSSQL Server replication oops / Qdrant, PostgresML et LanceDB / chdb / tpch / oracle autonomous db
Episode timelineDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Onyxia est une UX open source pour mettre en place un datalab avec des services basés sur des containers et orchestrés par K8s. Minio pour le stockage, Keycloak et Vault pour la sécurité s'intègre parfaitement.Cette solution est mise en oeuvre à l'INSEE avec le datalab SSP et Frederic Comte, Architecte Data à l'INSEE nous en explique les fondements…
…
continue reading
1
Episode 40 – Microsoft Fabric passe en GA
1:07:10
1:07:10
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:07:10
Microsoft Fabric passe en GA : on en parleDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 39 : Interview Sylvain Lesage, Développeur chez Hugging Face
1:05:28
1:05:28
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:05:28
Une interview de Sylvain Lesage développeur chez Hugging Face dans l'équipe en charge de la prévisualisation des datasets : le dataset viewer. Il nous parle de son parcours et de son expérience chez Hugging Face, une société très inspirée dans le monde de l'IA.De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 38 : PowerBI et Couche Sémantique – Databases et Comptage Approximatif – Parquet méthode d’encodage
57:09
57:09
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
57:09
Partie 1 : La couche sémantique et l'architecture de Power BI. Partie 2 : Comptage approximatif et l'algorythme hyperlolog. Partie 3 : les différents types d'encodage avec les columnstore index SQL Server & Apache Parquet et des stockages colonnaires en généralDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 37 : Oracle Data Cartbidge, SQL Server Minimal Logging, Parquet et tri des données, Database of Databases Dashboard, DataGouvernance
1:06:43
1:06:43
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:06:43
Episode 37 : Oracle Database Data Cartbridge ou comment faire une extension dans la base Oracle. SQL Server Journalisation Minimale. L'importance du tri des données pour les performances avec Parquet. Le tableau de bord des bases de données : +900 databases étudiées. La DataGouvernance un sujet qui n'est pas uniquement technique.…
…
continue reading
1
Episode 36 : les tendances des bases de données / Une formation Databricks testée / DB Vectorielles : les points importants
1:08:06
1:08:06
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:08:06
Databricks : formation en ligne gratuite et aparté Delta Lake 3.0.Oracle DB : un dashboard sur les features et innovation depuis la 11.2 avec 1608 features. Les tendances des bases de données (Relationnelles et NoSQL). Les bases de données vectorielles : qu'est ce qui les différencie et les points importants pour les choisir.…
…
continue reading
1
Episode 35 : SQL invulnérable / Microsoft DataFabric
1:03:10
1:03:10
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:03:10
SQL : un language incontournable dans le traitement des données. On en parle avec une approche historique, les dialectes et les nouvelles approches qui rendent ce language plus vivant que jamais.Dans la deuxième partie de l'épisode on vous parle de Microsoft DataFabric : où en est-on avec ce nouveau service orienté données proposé par Microsoft.…
…
continue reading
1
Episode 34 : DataLakeHouse et architecture médaillon / Nouveautés d’Oracle Database 23c
1:00:34
1:00:34
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:00:34
DataLakehouse et Architecture Médaillon.Les nouveautés d'Oracle Database 23cDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 33 : Bases de données vectorielles essai avec SQL Server + Microsoft Fabric Partie 2
1:07:26
1:07:26
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:07:26
Dans cette épisode on parle d'un essai d'implémentation de recherche sémantique et vectorielle avec SQL Server. Dans la seconde partie : Approfondissement de Microsoft Fabric.De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 32 : Avis sur Microsoft Fabric + Les bases de données vectorielles ou la mémoire des IAs
1:02:05
1:02:05
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:02:05
Microsoft a lancé un nouveau service chapeau : Microsoft Fabric. Senser regrouper tous les services autour de l'analytique, ce service est plein de promesses. Premiers avis sur ce service avec Fabien Beaumont. Romain Ferraton aborde ensuite les bases de données vectorielles, support de la mémoire des IAs. Capables de recherches sémantiques accéléré…
…
continue reading
1
Episode 31 : REX dataoops SQL Server et IOT, Observabilité, DataMesh
1:39:00
1:39:00
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:39:00
4 sujets dans cet épisode :Une REX sur un problème de modélisation de données IOT dans SQL Server.L'arrivée des fonctionnalités spatiales sur DuckDB.Discussion sur l'observabilité : théorie et un exemple de log machine friendly avec Serilog.Discussion sur le datameshDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 30 : Parquet to SQL / 3 000 milliards de lignes dans SQL Server
1:08:10
1:08:10
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:08:10
On parle de chargement de données Parquet dans SQL Server via C# et bulkcopy. On parle également des bonnes pratiques pour sql server pour stocker 3000 milliards de lignes. Dernière partie avec une overviewDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 29 : TPCH MSSQL entre dans la danse + ChatGpt Premiers tests
1:21:36
1:21:36
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:21:36
TPCH : nouveaux tests avec SQL Server et influence de la collation sur les performances. Autres Tests TPCH SF100 : DuckDB & Hyper sur un laptop vs, Snowflake (XS to 4xLarge).Quelques mots sur nos premiers essais avec ChatGPTDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 28 : TPCH Cloud Databases vs DuckDB, les outils autour de Terraform et les extended events sur SQL Server.
1:40:07
1:40:07
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:40:07
On parle un tout petit peu de chatGPT mais d'abord des évènements étendus (extended events) sur SQL Server et de leurs capacités à faire remonter des informations précieuses pour le diagnostique voir l'analyse du code.Ensuite nous abordons le benchmark TPCH et la comparaison des performances des bases Cloud comme comme Snowflake, BigQuery, SingleSt…
…
continue reading
Data virtualisation remise au gout du jour avec sql server 2022, la data virtualisation permet d'accéder à de nombreuses sources (SGBDR, Datalake, Fichiers...) depuis un point unique. Ce type d'architecture permet de simplifier le paysage architectural. On en parle sur Dataoops.Les disques NVMe apparus il y a quelques années on permis d'accélerer c…
…
continue reading
1
Episode 26 : Big Data is Dead (DuckDB) / Data Gouvernance
1:17:52
1:17:52
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:17:52
On discute de l'article Big Data is Dead : de Jordan Tigani.On discute des avantages de DuckDB.Puis un on aborde la data gouvernance avec FabienDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 25 : DataLakeHouse, ADBC et Configuration VMWare pour les bases de données
1:16:13
1:16:13
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:16:13
1) Premières impression sur le DatalakeHouse de Databricks. 2) Le protocole ADBC (Arrow Database Connectivity) 3) Bonnes pratiques de configuration des VMs pour les bases de donnéesDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
MongoDB est devenu la principale base de données NoSQL du marché. De type document, elle cherche à toucher le plus de cas d'usages possibles. Frédéric Favelin Directeur Technique chez MongoDB viens nous parler de ses spécificités.De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 23 : PowerBI External Tools
56:56
56:56
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
56:56
Les external tools de powerBI permettent d'augmenter la productivité des développements. Fabien nous explique comment et quels tools choisirDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 22 : Datalake & Datasharing + DevOps & FinOps + Silicon Chalet
1:35:03
1:35:03
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:35:03
Un tour d'horizon sur les solutions Datalake du marché et discussion sur le DatasharingCoté Devops : comme le devops est perçu suivant le type d'entrepriseFinOps : pilotage des coutsNews : Nouveau Meetup Silicon ChaletDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 21 : REX sur crash databases mssql + AWS AppRunner + les Certifications IT
1:31:52
1:31:52
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:31:52
Episode 21 : Rex sur un crash d'une infrastructure virtuelle et l'impact sur les bases de données (MSSQL). Découverte de AWS App Runner et discussions sur les certifications ITDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Microsoft Dataverse : une base de données universelle ?Retour sur EightKB 2022 et les indicateurs de performances critiques selon les fichiers utilisés par SQL Server (Journal, Datafiles, Backup Files) : Latence vs Bande PassanteDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Quelques nouveautés de SQL Server 2022 : optimisation des index columnStore, opérateur Is (Not) Distinct From, DateTrunc, DateBucket, Greatest, Least.2ème partie avec Aws Cloudfront ou le CDN selon AWS.3ème partie : Coups de coeurs avec Apache Arrow Flight SQL et HashiCorp LearnDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
19 - Le modèle de fluidité agile
15:24
15:24
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
15:24
Dans cet épisode Nous voyons un modèle d'évolution agile et ses quatre niveaux de maîtrise. 00:30 - Introduction 03:04 - La focalisation 06:18 - La livraison 08:46 - L'optimisation 10:46 - Le renforcement 12:05 - L'Agile Fluency Model et les cadres de travail 13:25 - Conclusion Notes Le site web officiel du Agile Fluency model https://www.agileflue…
…
continue reading
1
Episode 18 : DuckDB et Apache Arrow
58:56
58:56
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
58:56
DuckDB est une base de données OLAP in-process et très légère : très utile pour la préparation de données en SQL Surtout quand cette base est compilée en C++, très performante, dotée de nombreuses fonctions, capable de lire et écrire des fichiers csv ou parquet et utilisable via ODBC,JDBC, API python ou C++ ou tout simplement via CLI.Apache Arrow e…
…
continue reading
1
18 - Anti-patterns du carnet de produit
21:12
21:12
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
21:12
Dans cet épisode Nous voyons 20 erreurs qu'il est possible de faire lorsque nous entretenons notre carnet de produit. 00:30 - Introduction 01:13 - Qu'est-ce qu'un anti-pattern 01:52 - Comment identifier un anti-pattern 03:54 - Anti-patterns les plus communs 09:41 - Frictions entre roadmap et backlog 11:35 - Anti-patterns induits par le Product Owne…
…
continue reading
Retours sur les DevOpsDays de Genève 2022. Discussion sur AWS S3 et les services Analytiques dérivés AWS Athena et Glue. On parle également de Apache Parquet et du requêtage via SQL de ces fichiers ==> DatalakeDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
BigQuery et la sécurité des accès aux données et Domwee Etourno un ELT SAAS pour BigQuery et SnowflakeDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 15 : BigQuery un datawarehouse serverless sur GCP
1:08:50
1:08:50
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:08:50
BigQuery : un datawarehouse serverless sur GCP tarifé à la requête. Brice Michetti, spécialiste GCP et BigQuery depuis plus de 5 ans nous en parleDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Data Gouvernance : les rôlesMonitoring de bases de données : 3 types d'outillage : les spécialisés, les outils d'APM et les frameworks de monitoring type ELKDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 12 : Datalake intro et aide pour les débutants dans le cloud
1:25:34
1:25:34
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:25:34
On parle des bases d'un datalake et quelques conseils pour débuter ans le cloudDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 11 : Result Cache // FinOps & Ressources
1:03:58
1:03:58
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:03:58
Le result cache (ou query cache) en base de données permet d'accélérer les requêtes répétitives et consommatrices sur les bases de données. Quelles databases disposent de cette fonctionnalité ?Optimiser sa consommation de ressources dans le cloud : le FinOpsDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 10 : DataHub & Strategie Data
1:07:33
1:07:33
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:07:33
Datahub : définition(s) et approche. Data stratégie : comment mieux intégrer et gérer la données dans l'entrepriseDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 9 : Slowly Changing Dimensions // API
1:08:20
1:08:20
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:08:20
Coté Modélisation : les SCD ou Slowly Changing dimensions (dimensions à évolution lente) ==> on discute des SCD1, SCD2, SCD3 et même SCD6.Eric nous parle API, REST bien sur !De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
Episode 8 : Bases Graphes Neo4j // Parallélisme dans les databases relationnelles
1:16:18
1:16:18
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:16:18
Bases de données graphes // Performance & Database : Le parallélismeDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Dans cet épisode Je vous partage ma recette pour une planification de sprint super efficace! 00:30 - Introduction 01:05 - Qui devrait être au sprint planning? 02:42 - Quelle devrait être la durée du sprint planning? 04:27 - Comment préparer le sprint planning? 05:36 - Bien démarrer la session de sprint planning 07:07 - Quelques rappels! 09:24 - L'o…
…
continue reading
1
Episode 7 : Gestion des plans d’exécution (SPM) | Les étapes pour construire son datavault | Introduction à Terraform
1:51:55
1:51:55
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
1:51:55
3 parties dans cet épisode : la gestion des plans d'exécution particuliers dans les bases de données, les étapes pour concevoir son datavault et finalement une introduction a TerraformDe către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
Le plan d'exécution dans une base de données : la base et quelques outils. L'orchestrateur de containers : pourquoi un orchestrateur et quel orchestrateur choisir en 2022. La multi-temporalité dans le datavault : snapshot or not snapshot !De către Romain Ferraton, Fabien Beaumont, Eric Duquesnoy
…
continue reading
1
16 - Vulnérabilité et biais cognitifs
24:43
24:43
Redă mai târziu
Redă mai târziu
Liste
Like
Plăcut
24:43
Dans cet épisode Nous explorons des façons de nous exercer à être à l'aise dans notre zone de vulnérabilité! 00:30 - Introduction 03:31 - Empirisme et vulnérabilité 04:33 - Le dilemme de l'échec 05:56 - Les zones de maîtrise, de vulnérabilité et d'opportunités 08:10 - Nous exercer à être à l'aise dans la zone de vulnérabilité 09:39 - Humilité, curi…
…
continue reading