Konektory danych online- czy warto tracić czas i miejsce?

01.01.01r.

W wielu zastosowaniach nowoczesnej analizy danych może się przydać pobieranie danych ze źródeł online, które mogą być aktualizowane w czasie rzeczywistym i odświeżane w raportach. Podczas próby zaimportowania danych z sieci Web mogą oczywiście pojawić pytania o uwierzytelnianie, ale z ogólnodostępnych stron nie powinniśmy mieć problemu. Strony, z których chcemy pobierać dane muszą być odpowiednio przygotowane – zatem nie ze wszystkich to się uda.

Nasz pierwszy przykład będzie się opierał na pobieraniu aktualnych kursów walut ze strony NBP. Do tego potrzebny jest odpowiedni konektor i taki znajdziemy w opcji pobierania danych poprzez Power Query.
Jakie między innymi konektory do danych mamy w Power Query:

• Magazyn tabel w usłudze Azure
• Power Platform: Z usługi Power BI
• Power Platform: Z przepływów danych
• Power Platform: Z Dataverse
• Usługi online: lista usługi SharePoint Online
• Usługi online: Microsoft Exchange Online
• Usługi online: Dynamics 365 (online)
• Usługi online: Adobe Analytics
• Inne źródła: Sieć Web
• Inne źródła: źródło strumieniowe OData

My w tym artykule skupimy się na danych z usług online: Sieć Web oraz źródła strumieniowe OData.
Procedura pozyskiwania danych online
Jeśli zamierzamy mieć na przykład aktualne kursy walut to możemy skorzystać ze stron NBP.
Wybierz pozycję 
Dane -> Pobierz dane (Nowe zapytanie - Excel 2016) -> Z innych źródeł -> Z sieci Web.

W oknie dialogowym Z sieci Web wprowadź adres URL strony sieci Web, a następnie kliknij przycisk OK.
W tym przypadku korzystamy z: https://nbp.pl/statystyka-i-sprawozdawczosc/kursy/tabela-a/
Jeśli strona sieci Web wymaga poświadczeń użytkownika: Jeśli strona sieci Web wymaga poświadczeń użytkownika:

• Wybierz pozycję Zaawansowane, a następnie w oknie dialogowym Access Web (Sieć Web) wprowadź poświadczenia.
• Wybierz pozycję Zapisz.

W okienku Nawigator wykonaj następujące czynności. Wybierz pozycję Widok tabeli, na przykład Tabela 1.

 Wybierz pozycję Widok sieci Web, aby wyświetlić tabelę jako stronę sieci Web.
Po kliknięciu Załaduj (jeśli nie potrzebujemy edytować danych) otrzymujemy tabelę dynamiczną. W ten sposób otrzymujemy odświeżalne zapytanie do danych. To odświeżanie możemy realizować ręcznie klikając prawym klawiszem na zapytaniu lub na opcje Odśwież z katy Dane.
Tak jak wstępie wspomniałem wiele nowoczesnych źródeł dynamicznie zmienia swoje dane i wówczas we właściwościach zapytania można ustawić automatyczne okresowe odświeżanie danych lub np. przy otwieraniu raportu.
Widzimy, że możemy ustalić interwał odświeżania danych lub inne parametry zakresu danych.

Online mogą być też udostępniane całe bazy danych, ale ja chcę pokazać inne dane niż te z serwerów SQL czy różnych hurtowni do których działy IT niechętnie dają bezpośredni dostęp – to tzw. dane OData. Zobaczymy, jak pobrać te dane- potrzebujemy odpowiedni link do nich. Kroki są prawie identyczne jak w poprzednim przypadku – czyli:
Dane -> Pobierz dane (Nowe zapytanie - Excel 2016) -> Z innych źródeł -> Ze źródła strumieniowego OData
Podajemy poniższy adres i przechodzimy do Nawigatora
http://services.odata.org/V4/northwind/northwind.svc/


Po wybraniu jednej lub wielu tabel (po zaznaczeniu opcji Wybierz wiele elementów) możemy załadować te dane bezpośrednio do Excela lub przekształcić i ograniczyć wielkość danych w trakcie ładowania. Można też wytworzyć tylko połączenie do danych co powoduję, że nie obciążamy pamięci RAM i nie jesteśmy ograniczeni rozmiarem arkuszy Excela, które mogą pomieścić tylko milion wierszy.
Wybieramy wtedy opcję Załaduj do - Utwórz tylko połączenie:

Pamiętajmy, że często mamy do czynienia z relacyjnym układem danych. Dane są ze sobą powiązane relacjami i możemy to wykorzystać dodając je do modelu danych. Posiłkując się narzędziami łączenia danych w Power Query, Power Pivot lub bezpośrednio w tabelach przestawnych możemy mieć kompaktowe pod względem objętości raporty oparte na BIG DATA.

Po więcej informacji zapraszamy na Webinar – „Konsolidacje i transformacje w Power Query", który jest na naszej stronie i do oglądania kolejnych części, które niebawem pokażą się na stronie SOFTRONIC oraz na szkolenia oferowane z tej tematyki, które można znaleźć przez naszą wyszukiwarkę.