Oracle-Snowflake Connector
Czym jest Oracle-Snowflake Connector?
Jest to ogólne narzędzie API opracowane przez zespół dataconsulting.pl, umożliwiające połączenie Bazy Danych Oracle z Data Warehouse Snowflake Cloud.
Pozwala ono na wyszukiwanie i modyfikowanie danych, a także tworzenie i zmianę obiektów w Snowflake bez konieczności stosowania dodatkowej warstwy pomiędzy bazą danych Oracle, a Snowflake. Daje to możliwość transparentnego włączenia przetwarzania danych z wykorzystaniem najnowocześniejszego rozwiązania Snowflake jako części istniejącego przetwarzania w Data Warehouse lub jego ulepszenia. Oracle-Snowflake Connector pozwala na tworzenie POC porównujących wydajność pomiędzy uruchomieniem logiki na Snowflake, a uruchomieniem jej na Oracle bez angażowania dodatkowego narzędzia. Przy minimalnym wysiłku, istniejący kod może zostać przekształcony w wersję umożliwiającą uruchomienie go na Snowflake zamiast na Oracle.
Jak można wykorzystać Oracle-Snowflake Connector?
Po zainstalowaniu Oracle-Snowflake Connector w kilku prostych krokach można wykorzystać go do wykonania kilku operacji na bazach danych Snowflake i Oracle, przede wszystkim:
- wybierz i zwróć dane z Snowflake do Oracle,
- DML (aktualizacja, usunięcie, wstawienie) danych na bazy danych Snowflake,
- wstaw i pobierz zbiorcze dane z Oracle do bazy danych Snowflake,
- uruchom procedurę JavaScript zapisaną w bazie danych Oracle,
- modyfikuj i twórz obiekty na bazie danych Snowflake operując na nich z Oracle: DDL (stworzenie, upuszczenie, zmiana),
- umożliwia monitorowanie zapytań (stanu) po stronie Snowflake.
Przykłady użycia Oracle-Snowflake Connector:
Przypadek #1
Opis: Obecnie system używany głównie do przechowywania i przetwarzania transakcji użytkowników. Po wprowadzeniu zmian powinien na żądanie wykonywać analizę danych z przeszłości. Wszystkie transakcje z klientami powinny być przechowywane i przetwarzanie w jak najkrótszym czasie. Klient chciałby być w stanie wykonywać również pewne analizy na swoim koncie, które polegają na grupowaniu i sortowaniu ogromnych ilości danych historycznych.
Rozwiązanie: Oracle jest skonfigurowany i traktowany jako baza danych OLTP, dostosowana do wysokiego wolumenu transakcji przy minimalnym czasie reakcji. Snowflake służy do zwracania klientowi danych wyjściowych z analizy, która polega na agregacji dużej ilości danych historycznych (tj. sumy wszystkich transakcji z ostatnich n lat pogrupowanych według kategorii). Aplikacja wykorzystuje procedury przechowywane w Oracle i PL/SQL jako pojedynczy punkt kontaktowy dzięki zastosowaniu Oracle-Snowflake Connector do uzyskania wyników z Snowflake.
Przypadek #2
Opis: Obecny system jest mocno obciążony zadaniami wsadowymi i regularnym raportowaniem. Ze względu na zmianę zakresu działalności firmy pojawiła się potrzeba tworzenia nowych raportów, które umożliwią podejmowanie decyzji biznesowych z uwzględnieniem zmienionej perspektywy. Dotychczasowa sprawozdawczość musi być utrzymywana w celu utrzymania bieżącej działalności firmy. Nowe wyzwanie biznesowe wymaga stworzenia zestawu raportów wykorzystujących inne zestawy granulacji i grupowania niż istniejąca logika przetwarzania.
Rozwiązanie: Bieżące przetwarzanie pozostaje nienaruszone, a opracowanie nowego raportu ma miejscu przy użyciu danych przesyłanych do Snowflake Cloud Data Warehouse.
Oracle-Snowflake Connector służy do łączenia się ze Snowflakiem i zwracania wyników agregacji. Nowe raporty mogą być tworzone w ramach istniejącego rozwiązania DWH, a wyniki są przechowywane i udostępniane przez aplikację używaną przez użytkowników biznesowych. Zmiana jest przejrzysta dla systemów i aplikacji wykorzystywanych do publikowania i dystrybucji raportów wśród użytkowników biznesowych.
Oracle-Snowflake Connector:
- udostępnianie SQL i PL/SQL API w celu połączenia Snowflake bezpośrednio z bazy danych Oracle,
- możliwość wykonania dowolnego poprawnego zapytania SQL Snowflake bezpośrednio z bazy danych Oracle,
- możliwość dalszego przetwarzania wyników zapytań Snowflake za pomocą Oracle SQL i PL/SQL,
- możliwość wykonywania poleceń DML względem tabel w Snowflake bezpośrednio z bazy danych Oracle (zarówno z SQL, jak i PL/SQL),
- uruchamianie jednorzędowych i zbiorczych wstawek do tabel Snowflake bezpośrednio z bazy danych Oracle,
- możliwość uruchomienia procedury przechowywania danych w JavaScript Snowflake z bazy danych Oracle,
- możliwość uruchomienia DDL w Snowflake z bazy danych Oracle,
- możliwość uruchomienia TCL w Snowflake z bazy danych Oracle,
- obsługa synchronicznego i asynchronicznego wykonywania poleceń Snowflake z bazy danych Oracle,
- monitorowanie asynchronicznych statusów zapytań Snowflake i pobieranie wyników z bazy danych Oracle.
SKONTAKTUJ SIĘ Z NAMI
+48 22 398 47 81
