Data Engineering w Snowflake

Szkolenie „Snowflake Data Engineering” to intensywne, dwudniowe warsztaty skierowane do inżynierów danych, architektów danych, oraz specjalistów ETL/ELT, którzy chcą poznać lub udoskonalić swoje umiejętności działania z platformą Snowflake. Uczestnicy zdobędą kompleksową wiedzę na temat budowy pipelineów danych, róznych metod połączeń i integracji (m.in. z wykorzystaniem Pythona lub Kafki), efektywnego ładowania i transformacji danych, a także elementów administracji, architektury Snowflake, zarządzania hurtowniami danych (role i kontrola dostępu). Program obejmuje również zaawansowane techniki, takie jak Snowpipe, obsługa danych semi-structured, dynamiczne tabele i wykorzystanie narzędzi AI w działaniach Data Engineera.

Dzięki uczestnictwu w warsztatach, uczestnicy nauczą się projektować i zarządzać skalowalnymi pipeline’ami danych, ładować dane z różnych źródeł na platformę Snowflake oraz automatyzować procesy przetwarzania danych. Zdobędą także umiejętności wzbogacania procesu ETL/ELT o zaawansowane funkcji AI, takich jak wykrywanie anomalii, anonimizacja danych, oraz ekstrakcji informacji z nieustrukturyzowanych danych. Warsztaty te są idealne dla osób, które chcą tworzyć lub optymalizować procesy ETL/ELT i wspierać zaawansowane analizy i raportowanie w środowiskach chmurowych.

• Podstawowa znajomość SQL
• Zrozumienie kluczowych koncepcji i architektury inżynierii danych
• Znajomość przetwarzania w chmurze
• Podstawy tworzenia oprogramowania
• Zainteresowanie ładowaniem i transformacją danych

1. Podstawy Snowflake i DWH
   • Przegląd
   • Architektura i komponenty Snowflake
   • Snowsight
   • Wirtualne hurtownie
   • Obiekty Snowflake, bazy danych, schematy
   • Typy danych
   • Dane ustrukturyzowane i częściowo ustrukturyzowane
   • Role i kontrola dostępu w Snowflake
2. Opcje połączeń
   • Typy uwierzytelniania
   • Connectors
   • Snowflake Connector w Python
   • SnowSQL
   • Native Connectors w Snowflake
   • Snowflake REST SQL API
   • Snowflake Connector dla Kafki
3. Funkcje Snowflake do ładowania danych
   • Storage
   • Internal stages
   • External stages
   • Streams
   • Tasks
   • Serverless Tasks
4. Data ingestion
   • ETL vs ELT
   • Pull vs Push
   • Bulk vs Continuous Data Load
   • Change Data Capture
   • Snowpipe
   • Snowpipe Streaming
   • Snowflake Connector for Kafka
   • Snowflake Connector for Kafka with Streaming
5. Data Transformation
   • Przenoszenie danych ze stage do tabel
   • Transformacje podczas ładowania
   • Polecenie COPY
   • Transformacje Snowpipe
   • Dynamic tables
   • UDF & Procedury zapamiętane
6. Mechanizm schema detection and evolution
   • Schema detection – INFER_SCHEMA
   • Tworzenie obiektów w oparciu o metadane
   • Mechanizm automatycznej ewolucji schematu
7. Sztuczna inteligencja w inżynierii danych
   • Snowflake Cortex
   • Copilot
   • Data pipelines wzbogacone o sztuczną inteligencję
   • Data pipelines generowane przez sztuczną inteligencję
   • Wykrywanie anomalii
   • Czyszczenie danych
   • Anonimizacja danych
   • Konwersja nieustrukturyzowanych danych na dane ustrukturyzowane lub częściowo ustrukturyzowane
   • Analiza sentymentu
   • Przegląd RAG (Retrivial-Augmented Generation)