Snowflake
średnio zaawansowany Inżynierowie danych

Data Engineering w Snowflake

Cortex Code Paczka AI
2 dni online z trenerem, na sali SFDE_PL
Zapytaj o termin Wszystkie szkolenia
Cel szkolenia

Szkolenie „Snowflake Data Engineering” to intensywne, dwudniowe warsztaty skierowane do inżynierów danych, architektów danych, oraz specjalistów ETL/ELT, którzy chcą poznać lub udoskonalić swoje umiejętności działania z platformą Snowflake. Uczestnicy zdobędą kompleksową wiedzę na temat budowy pipelineów danych, róznych metod połączeń i integracji (m.in. z wykorzystaniem Pythona lub Kafki), efektywnego ładowania i transformacji danych, a także elementów administracji, architektury Snowflake, zarządzania hurtowniami danych (role i kontrola dostępu). Program obejmuje również zaawansowane techniki, takie jak Snowpipe, obsługa danych semi-structured, dynamiczne tabele i wykorzystanie narzędzi AI w działaniach Data Engineera.

Korzyści

Dzięki uczestnictwu w warsztatach, uczestnicy nauczą się projektować i zarządzać skalowalnymi pipeline’ami danych, ładować dane z różnych źródeł na platformę Snowflake oraz automatyzować procesy przetwarzania danych. Zdobędą także umiejętności wzbogacania procesu ETL/ELT o zaawansowane funkcji AI, takich jak wykrywanie anomalii, anonimizacja danych, oraz ekstrakcji informacji z nieustrukturyzowanych danych. Warsztaty te są idealne dla osób, które chcą tworzyć lub optymalizować procesy ETL/ELT i wspierać zaawansowane analizy i raportowanie w środowiskach chmurowych.

Wymagania wstępne
  • Podstawowa znajomość SQL
  • Zrozumienie kluczowych koncepcji i architektury inżynierii danych
  • Znajomość przetwarzania w chmurze
  • Podstawy tworzenia oprogramowania
  • Zainteresowanie ładowaniem i transformacją danych

 

Program szkolenia
  1. Podstawy Snowflake i DWH
    • Przegląd
    • Architektura i komponenty Snowflake
    • Snowsight
    • Wirtualne hurtownie
    • Obiekty Snowflake, bazy danych, schematy
    • Typy danych
    • Dane ustrukturyzowane i częściowo ustrukturyzowane
    • Role i kontrola dostępu w Snowflake
  2. Opcje połączeń
    • Typy uwierzytelniania
    • Connectors
    • Snowflake Connector w Python
    • SnowSQL
    • Native Connectors w Snowflake
    • Snowflake REST SQL API
    • Snowflake Connector dla Kafki
  3. Funkcje Snowflake do ładowania danych
    • Storage
    • Internal stages
    • External stages
    • Streams
    • Tasks
    • Serverless Tasks
  4. Data ingestion
    • ETL vs ELT
    • Pull vs Push
    • Bulk vs Continuous Data Load
    • Change Data Capture
    • Snowpipe
    • Snowpipe Streaming
    • Snowflake Connector for Kafka
    • Snowflake Connector for Kafka with Streaming
  5. Data Transformation
    • Przenoszenie danych ze stage do tabel
    • Transformacje podczas ładowania
    • Polecenie COPY
    • Transformacje Snowpipe
    • Dynamic tables
    • UDF & Procedury zapamiętane
  6. Mechanizm schema detection and evolution
    • Schema detection – INFER_SCHEMA
    • Tworzenie obiektów w oparciu o metadane
    • Mechanizm automatycznej ewolucji schematu
  7. Sztuczna inteligencja w inżynierii danych
    • Snowflake Cortex
    • Copilot
    • Data pipelines wzbogacone o sztuczną inteligencję
    • Data pipelines generowane przez sztuczną inteligencję
    • Wykrywanie anomalii
    • Czyszczenie danych
    • Anonimizacja danych
    • Konwersja nieustrukturyzowanych danych na dane ustrukturyzowane lub częściowo ustrukturyzowane
    • Analiza sentymentu
    • Przegląd RAG (Retrivial-Augmented Generation)

Najbliższe terminy

Ładowanie terminów…

Formularz zapisu

Dane podane w formularzu posłużą do wystawienia faktury proforma. Po otrzymaniu zgłoszenia skontaktujemy się w ciągu 1 dnia roboczego.

Klauzula informacyjna RODO

Administratorem moich danych osobowych jest Dataconsulting Services sp. z o.o. z siedzibą w Warszawie (00-843), Rondo Daszyńskiego 2B, wpisaną do rejestru przedsiębiorców Krajowego Rejestru Sądowego prowadzonego przez Sąd Rejonowy dla m.st. Warszawy w Warszawie, XIII Wydział Gospodarczy Krajowego Rejestru Sądowego, pod numerem KRS: 0001017491, NIP: 5273040797, REGON: 524385129, z kapitałem zakładowym w wysokości 5.000,00 zł (dalej: „Spółka").

Ze Spółką kontaktować się można listownie (na adres podany wyżej), mailowo: biuro@dataconsulting.pl, lub telefonicznie: +48 (22) 398 47 81.

  • moje dane osobowe przetwarzane będą w celu nawiązania kontaktu ze mną przez Spółkę, na podstawie art. 6 ust. 1 lit. a Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE („RODO"),
  • moje dane osobowe nie będą przekazywane podmiotom zewnętrznym, państwom trzecim spoza Europejskiego Obszaru Gospodarczego ani organizacjom międzynarodowym,
  • moje dane osobowe będą przechowywane przez okres niezbędny do nawiązania ze mną kontaktu przez Spółkę jednak nie dłużej niż do momentu cofnięcia zgody na ich przetwarzanie,
  • posiadam prawo dostępu do treści moich danych oraz prawo ich sprostowania, usunięcia, ograniczenia przetwarzania oraz prawo do przeniesienia moich danych,
  • mam możliwość wycofania zgody na przetwarzanie moich danych osobowych, a wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych osobowych, którego dokonano na podstawie zgody przed jej wycofaniem,
  • przysługuje mi uprawnienie wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.

Podanie danych osobowych jest dobrowolne, jednak jest niezbędne do nawiązania ze mną kontaktu przez Spółkę.

Pola oznaczone * są wymagane.