Data Engineering w Snowflake
Szkolenie „Snowflake Data Engineering” to intensywne, dwudniowe warsztaty skierowane do inżynierów danych, architektów danych, oraz specjalistów ETL/ELT, którzy chcą poznać lub udoskonalić swoje umiejętności działania z platformą Snowflake. Uczestnicy zdobędą kompleksową wiedzę na temat budowy pipelineów danych, róznych metod połączeń i integracji (m.in. z wykorzystaniem Pythona lub Kafki), efektywnego ładowania i transformacji danych, a także elementów administracji, architektury Snowflake, zarządzania hurtowniami danych (role i kontrola dostępu). Program obejmuje również zaawansowane techniki, takie jak Snowpipe, obsługa danych semi-structured, dynamiczne tabele i wykorzystanie narzędzi AI w działaniach Data Engineera.
Dzięki uczestnictwu w warsztatach, uczestnicy nauczą się projektować i zarządzać skalowalnymi pipeline’ami danych, ładować dane z różnych źródeł na platformę Snowflake oraz automatyzować procesy przetwarzania danych. Zdobędą także umiejętności wzbogacania procesu ETL/ELT o zaawansowane funkcji AI, takich jak wykrywanie anomalii, anonimizacja danych, oraz ekstrakcji informacji z nieustrukturyzowanych danych. Warsztaty te są idealne dla osób, które chcą tworzyć lub optymalizować procesy ETL/ELT i wspierać zaawansowane analizy i raportowanie w środowiskach chmurowych.
- Podstawowa znajomość SQL
- Zrozumienie kluczowych koncepcji i architektury inżynierii danych
- Znajomość przetwarzania w chmurze
- Podstawy tworzenia oprogramowania
- Zainteresowanie ładowaniem i transformacją danych
-
Podstawy Snowflake i DWH
- Przegląd
- Architektura i komponenty Snowflake
- Snowsight
- Wirtualne hurtownie
- Obiekty Snowflake, bazy danych, schematy
- Typy danych
- Dane ustrukturyzowane i częściowo ustrukturyzowane
- Role i kontrola dostępu w Snowflake
-
Opcje połączeń
- Typy uwierzytelniania
- Connectors
- Snowflake Connector w Python
- SnowSQL
- Native Connectors w Snowflake
- Snowflake REST SQL API
- Snowflake Connector dla Kafki
-
Funkcje Snowflake do ładowania danych
- Storage
- Internal stages
- External stages
- Streams
- Tasks
- Serverless Tasks
-
Data ingestion
- ETL vs ELT
- Pull vs Push
- Bulk vs Continuous Data Load
- Change Data Capture
- Snowpipe
- Snowpipe Streaming
- Snowflake Connector for Kafka
- Snowflake Connector for Kafka with Streaming
-
Data Transformation
- Przenoszenie danych ze stage do tabel
- Transformacje podczas ładowania
- Polecenie COPY
- Transformacje Snowpipe
- Dynamic tables
- UDF & Procedury zapamiętane
-
Mechanizm schema detection and evolution
- Schema detection – INFER_SCHEMA
- Tworzenie obiektów w oparciu o metadane
- Mechanizm automatycznej ewolucji schematu
-
Sztuczna inteligencja w inżynierii danych
- Snowflake Cortex
- Copilot
- Data pipelines wzbogacone o sztuczną inteligencję
- Data pipelines generowane przez sztuczną inteligencję
- Wykrywanie anomalii
- Czyszczenie danych
- Anonimizacja danych
- Konwersja nieustrukturyzowanych danych na dane ustrukturyzowane lub częściowo ustrukturyzowane
- Analiza sentymentu
- Przegląd RAG (Retrivial-Augmented Generation)
Najbliższe terminy
Najbliższe terminy online
Ładowanie terminów…
Najbliższe terminy stacjonarne
Ładowanie terminów…
Wszystkie ceny są cenami netto — do podanych kwot należy doliczyć podatek VAT wg obowiązującej stawki.
Formularz zapisu
Dane podane w formularzu posłużą do wystawienia faktury proforma. Po otrzymaniu zgłoszenia skontaktujemy się w ciągu 1 dnia roboczego.