Zaawansowana analiza danych w Databricks - SQL, AI/BI i Genie
3 dni online z trenerem, na sali średnio zaawansowany Analitycy danych DBAN2_PL
Cel szkolenia
Biorąc udział w szkoleniu, uczestnik rozwinie umiejętność prowadzenia zaawansowanych analiz danych w środowisku Databricks. Nauczy się tworzyć złożone zapytania SQL, analizować dane hierarchiczne i półustrukturyzowane, korzystać z możliwości Delta Lake oraz funkcji AI, a także budować warstwę semantyczną, interaktywne dashboardy AI/BI i rozwiązania oparte na Genie. Pozna również podstawy języka Python oraz interfejsu DataFrame API w PySpark. Uczestnicy wykonują praktyczne ćwiczenia przez całe szkolenie.
Korzyści
Po szkoleniu uczestnik będzie potrafił tworzyć wielopoziomowe raporty i zaawansowane analizy okienkowe, analizować hierarchie, przekształcać układ danych, przetwarzać złożone dokumenty JSON, wykonywać operacje DML na tabelach Delta, korzystać z historii i wersjonowania danych, stosować funkcje AI w zapytaniach SQL oraz diagnozować ich wykonanie. Wykorzystując Python i PySpark, będzie również potrafił utworzyć DataFrame oraz wykonać podstawowe operacje filtrowania, przekształcania, grupowania i agregowania danych. Zdobędzie także umiejętność tworzenia metric views, dashboardów AI/BI oraz konfigurowania i doskonalenia Genie Agenta.
Wymagania wstępne
Uczestnik powinien znać podstawy środowiska Databricks oraz potrafić tworzyć zapytania SELECT, filtrować, sortować, agregować i łączyć dane, a także stosować podzapytania, CTE i podstawowe funkcje okienkowe. Przydatna jest podstawowa znajomość operacji DML oraz danych JSON. Znajomość języka Python ani biblioteki PySpark nie jest wymagana.
Program szkolenia
Organizacja złożonych zapytań
organizowanie zapytań za pomocą CTE
stosowanie wielu CTE w jednym zapytaniu
wybór między podzapytaniem, CTE i widokiem
dzielenie złożonej analizy na etapy
dokumentowanie analizy w notebookach
Zaawansowane agregacje i raporty wielopoziomowe
GROUPING SETS
ROLLUP i CUBE
rozpoznawanie poziomów agregacji za pomocą GROUPING
agregacje warunkowe
sumy częściowe i końcowe
raporty obejmujące różne poziomy szczegółowości
Zaawansowane funkcje okienkowe
definiowanie okien i partycji
ramki ROWS i RANGE
sumy narastające i miary kroczące
porównywanie okresów za pomocą LAG i LEAD
FIRST_VALUE, LAST_VALUE i NTH_VALUE
rankingi i numerowanie rekordów
filtrowanie wyników za pomocą QUALIFY
Analiza hierarchii i zaawansowane złączenia
samozłączenia tabel
analiza relacji nadrzędny-podrzędny
rekurencyjne CTE
tworzenie poziomów i ścieżek hierarchii
definiowanie warunków rozpoczęcia i zakończenia rekurencji
LATERAL i zależne funkcje tabelaryczne
Zaawansowane przekształcanie układu danych
zaawansowane zastosowania PIVOT
stosowanie wielu agregacji
przekształcanie kolumn w wiersze za pomocą UNPIVOT
obsługa brakujących wartości
porównanie PIVOT z agregacją warunkową
przygotowanie danych do raportowania
Zaawansowana analiza JSON i danych typu VARIANT
przetwarzanie zagnieżdżonych dokumentów JSON
praca z obiektami i tablicami
odczytywanie elementów typu VARIANT
rozwijanie kolekcji do postaci relacyjnej
obsługa brakujących i niejednorodnych pól
konwertowanie typów
łączenie danych półustrukturyzowanych z tabelami relacyjnymi
Zaawansowane operacje DML i wersjonowanie danych w Delta Lake
warunkowe aktualizowanie danych
synchronizowanie danych za pomocą MERGE
obsługa rekordów dopasowanych i niedopasowanych
przeglądanie historii tabel
odczytywanie wcześniejszych wersji danych
time travel
przywracanie wcześniejszych wersji tabel
Funkcje AI w zapytaniach SQL
klasyfikowanie tekstu
analiza sentymentu
wydobywanie informacji z tekstu
stosowanie ai_query
uzyskiwanie wyników o określonej strukturze
łączenie funkcji AI z filtrowaniem i agregowaniem
walidowanie wyników generowanych przez AI
kontrolowanie liczby wywołań i kosztu analizy
Diagnostyka i optymalizacja zapytań
przeglądanie historii zapytań
analiza planu wykonania
praca z Query Profile
identyfikowanie kosztownych operacji
ograniczanie odczytywanych wierszy i kolumn
eliminowanie zbędnych sortowań i powtarzanych obliczeń