Artwork

Content provided by Денис, Ігор, Саша. All podcast content including episodes, graphics, and podcast descriptions are uploaded and provided directly by Денис, Ігор, Саша or their podcast platform partner. If you believe someone is using your copyrighted work without your permission, you can follow the process outlined here https://ro.player.fm/legal.
Player FM - Aplicație Podcast
Treceți offline cu aplicația Player FM !

№22: Delta Lake – чесний опенсорс чи датабріксовий вендор лок

51:34
 
Distribuie
 

Manage episode 338701368 series 3361795
Content provided by Денис, Ігор, Саша. All podcast content including episodes, graphics, and podcast descriptions are uploaded and provided directly by Денис, Ігор, Саша or their podcast platform partner. If you believe someone is using your copyrighted work without your permission, you can follow the process outlined here https://ro.player.fm/legal.

В гостях – Олександр з Zalando

🔞 Ми перестали вирізати матюки 🔞

Робочі посилання в каналі https://t.me/midnight_chatter

  • 00:00-00:30 Дисклеймер
  • 00:30-01:50 Інтро і 🇩🇪Data See
  • 01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
  • 02:31-04:00 Звідки назва? Дельта формат і дата лейк
  • 04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
  • 08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
  • 10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
  • 13:40-14:46 Неструктуровані дані і дельта лейк
  • 14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
  • 15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
  • 18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
  • 19:28-22:15 Як дельта лейк працює на запис
  • 22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
  • 34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”.
  • 35:59-36:26 Милі котусики сперечаються, хто кого більше любить
  • 36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
  • 42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
  • 44:47-47:37 Зручніть розгортання копій таблиць
  • 47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
  • 48:57-50:00 Заглядаємо в саму суть дельти ака висновки
  • 50:00-51:34 Outro

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Twitter: @O_Balachky

TikTok: @o_balachky

Музика: https://www.streambeats.com/ | @stas_gee

  continue reading

43 episoade

Artwork
iconDistribuie
 
Manage episode 338701368 series 3361795
Content provided by Денис, Ігор, Саша. All podcast content including episodes, graphics, and podcast descriptions are uploaded and provided directly by Денис, Ігор, Саша or their podcast platform partner. If you believe someone is using your copyrighted work without your permission, you can follow the process outlined here https://ro.player.fm/legal.

В гостях – Олександр з Zalando

🔞 Ми перестали вирізати матюки 🔞

Робочі посилання в каналі https://t.me/midnight_chatter

  • 00:00-00:30 Дисклеймер
  • 00:30-01:50 Інтро і 🇩🇪Data See
  • 01:51-02:31 Озвучуємо тему: Delta Lake представлений на Data & AI Summit, і супутній Open Source delta.io
  • 02:31-04:00 Звідки назва? Дельта формат і дата лейк
  • 04:00-08:25 А що таке дельта формат? Як це виглядає на файловій системі
  • 08:25-10:06 Чи хтось перевинайшов Redshift Spectrum?
  • 10:06-13:40 Історія і мотивація переходу до дата лейків в роботі Олександра. А потім і до дельта лейків
  • 13:40-14:46 Неструктуровані дані і дельта лейк
  • 14:46-15:52 Співіснування дата і дельта лейку, їх подальше використання
  • 15:52-18:30 Чому люди всередині компанії хочуть мігрувати на дельта лейк
  • 18:30-19:28 Стрімінг в дельті - це і в опенсорсі є чи щось пропрієтарне
  • 19:28-22:15 Як дельта лейк працює на запис
  • 22:15-34:00 І знову, що в опенсорсі, що пропрієтарне. OPTIMIZE & VACUUM команди. Адаптери для читання і як читати дельту руками. Unity Catalog. Delta Live Tables. Delta Sharing.
  • 34:00-35:59 Неймдропаємо і пробігаємося по альтернативам: Palantir Foundry, Iceberg, Hudi. (Допис з порівнянням). Мінісрач “хто опенсорснійший”.
  • 35:59-36:26 Милі котусики сперечаються, хто кого більше любить
  • 36:26-42:07 Коли обирати дельту замість Snowflake чи BigQuery.
  • 42:07-44:47 Time Travel & снепшоти - чи дорого і навіщо взагалі?
  • 44:47-47:37 Зручніть розгортання копій таблиць
  • 47:37-48:57 Які найбільші проблеми формату? [згадуємо Structured Streaming]
  • 48:57-50:00 Заглядаємо в саму суть дельти ака висновки
  • 50:00-51:34 Outro

Долучайтесь до нашого телеграм каналу https://t.me/midnight_chatter

Twitter: @O_Balachky

TikTok: @o_balachky

Музика: https://www.streambeats.com/ | @stas_gee

  continue reading

43 episoade

Toate episoadele

×
 
Loading …

Bun venit la Player FM!

Player FM scanează web-ul pentru podcast-uri de înaltă calitate pentru a vă putea bucura acum. Este cea mai bună aplicație pentru podcast și funcționează pe Android, iPhone și pe web. Înscrieți-vă pentru a sincroniza abonamentele pe toate dispozitivele.

 

Ghid rapid de referință