Szkolenie „Snowflake Data Engineering” to intensywne, dwudniowe warsztaty skierowane do inżynierów danych, architektów danych, oraz specjalistów ETL/ELT, którzy chcą poznać lub udoskonalić swoje umiejętności działania z platformą Snowflake. Uczestnicy zdobędą kompleksową wiedzę na temat budowy pipelineów danych, róznych metod połączeń i integracji (m.in. z wykorzystaniem Pythona lub Kafki), efektywnego ładowania i transformacji danych, a także elementów administracji, architektury Snowflake, zarządzania hurtowniami danych (role i kontrola dostępu). Program obejmuje również zaawansowane techniki, takie jak Snowpipe, obsługa danych semi-structured, dynamiczne tabele i wykorzystanie narzędzi AI w działaniach Data Engineera.
Format
Głównie warsztaty
Czas trwania
2 dni
Wymagania wstępne
Podstawowa znajomość SQL
Zrozumienie kluczowych koncepcji i architektury inżynierii danych
Znajomość przetwarzania w chmurze
Podstawy tworzenia oprogramowania
Zainteresowanie ładowaniem i transformacją danych
Grupa docelowa
To szkolenie jest idealne dla:
Data Engineers chcących zwiększyć swoje umiejętności w zakresie Snowflake i platform danych opartych na chmurze
ETL/ELT Developers koncentrujących się na optymalizacji procesów pozyskiwania, transformacji i ładowania danych
Architektów Danych, których celem jest projektowanie solidnych potoków danych i infrastruktury dla Snowflake
Inżynierów chmury pracujących z rozwiązaniami danych w środowiskach chmurowych
Administratorów bazy danych zainteresowani zarządzaniem skalowalną infrastrukturą danych
Data Scientists chcących usprawnić dostęp do danych i integrację dla przepływów pracy AI/ML
Program szkolenia
Podstawy Snowflake i DWH
Przegląd
Architektura i komponenty Snowflake
Snowsight
Wirtualne hurtownie
Obiekty Snowflake, bazy danych, schematy
Typy danych
Dane ustrukturyzowane i częściowo ustrukturyzowane
Role i kontrola dostępu w Snowflake
Opcje połączeń
Typy uwierzytelniania
Connectors
Snowflake Connector w Python
SnowSQL
Native Connectors w Snowflake
Snowflake REST SQL API
Snowflake Connector dla Kafki
Funkcje Snowflake do ładowania danych
Storage
Internal stages
External stages
Streams
Tasks
Serverless Tasks
Data ingestion
ETL vs ELT
Pull vs Push
Bulk vs Continuous Data Load
Change Data Capture
Snowpipe
Snowpipe Streaming
Snowflake Connector for Kafka
Snowflake Connector for Kafka with Streaming
Data Transformation
Przenoszenie danych ze stage do tabel
Transformacje podczas ładowania
Polecenie COPY
Transformacje Snowpipe
Dynamic tables
UDF & Procedury zapamiętane
Mechanizm schema detection and evolution
Schema detection – INFER_SCHEMA
Tworzenie obiektów w oparciu o metadane
Mechanizm automatycznej ewolucji schematu
Sztuczna inteligencja w inżynierii danych
Snowflake Cortex
Copilot
Data pipelines wzbogacone o sztuczną inteligencję
Data pipelines generowane przez sztuczną inteligencję
Wykrywanie anomalii
Czyszczenie danych
Anonimizacja danych
Konwersja nieustrukturyzowanych danych na dane ustrukturyzowane lub częściowo ustrukturyzowane
Analiza sentymentu
Przegląd RAG (Retrivial-Augmented Generation)
Nabyte umiejętności
Dzięki uczestnictwu w warsztatach, uczestnicy nauczą się projektować i zarządzać skalowalnymi pipeline’ami danych, ładować dane z różnych źródeł na platformę Snowflake oraz automatyzować procesy przetwarzania danych. Zdobędą także umiejętności wzbogacania procesu ETL/ELT o zaawansowane funkcji AI, takich jak wykrywanie anomalii, anonimizacja danych, oraz ekstrakcji informacji z nieustrukturyzowanych danych. Warsztaty te są idealne dla osób, które chcą tworzyć lub optymalizować procesy ETL/ELT i wspierać zaawansowane analizy i raportowanie w środowiskach chmurowych.