SO-Python-05 Analiza danych w Pythonie

Szkolenie daje solidne podstawy analizy danych w Pythonie, obejmując kluczowe narzędzia takie jak NumPy, Pandas i Matplotlib, które są standardem w pracy analityka danych. Uczestnicy uczą się nie tylko teorii, ale przede wszystkim praktycznego przetwarzania, oczyszczania i eksploracji danych na realnych przykładach. Dzięki temu przygotowuje do samodzielnej pracy z danymi i dalszego rozwoju w kierunku bardziej zaawansowanej analizy lub data science.

DZIEŃ 1 - Wprowadzenie + PyCharm + NumPy - część 1

1. Wprowadzenie

• Rola analizy danych, przykładowe zastosowania, pipeline analityczny
• Podstawowe statystyki: średnia, mediana, wariancja, odchylenie standardowe, percentyle, IQR (pojęcia + interpretacja)
• Typy danych: liczbowe (int/float), tekstowe, kategoryczne, daty/czas, bool
• Problemy z danymi: braki danych, duplikaty, błędne typy, niespójności, outliery, bias w danych

2. Tworzenie nowego projektu w PyCharm

• Struktura projektu analitycznego (np. data/, src/, reports/)
• Wirtualne środowisko (venv), interpreter projektu
• Import bibliotek (pip, requirements.txt)

Przegląd podstawowej funkcjonalności środowiska:

• uruchamianie skryptów/konfiguracje Run
• konsola Python, terminal
• debugowanie (breakpointy, podgląd zmiennych)
• praca z plikami danych (ścieżki, encoding)

3. Podstawy NumPy

• Wektory, macierze, tensory: ndarray, wymiary (ndim), kształt (shape)
• Tworzenie tablic: array, zeros, ones, arange, linspace, full
• Generowanie liczb pseudolosowych: np.random (seed, rozkłady: uniform/normal, losowanie próbek)
• Właściwości tablicy, konwersja typów: dtype, astype, rzutowanie i konsekwencje
• Działania na indeksach: indeksowanie, slicing, maski boolowskie
• Operacje arytmetyczne i logiczne na tablicach: wektorowe działania, porównania, where
• Agregacja danych: sum/mean/std/min/max, axis, proste statystyki opisowe
• Płytkie i głębokie kopiowanie: widoki vs kopie (view, copy) — typowe pułapki
• Wbudowane funkcje: np.unique, np.clip, np.isnan, np.isfinite (w praktyce jakości danych)

DZIEŃ 2 – Biblioteki NumPy - część 2 + Pandas - część 1

1. NumPy — operacje zaawansowane w podstawowym zakresie

• Zmiana rozmiaru i łączenie tablic: reshape, ravel/flatten, hstack/vstack, concatenate
• Sortowanie tablic: sort, argsort, sortowanie po osi

2. Podstawy pandas

• Seria i ramka danych: Series, DataFrame — kiedy co
• Indeksy i kolumny: index, columns, znaczenie indeksu, reset/ustawianie indeksu
• Tworzenie obiektów: z list, słowników, NumPy, z plików
• Import danych (excel, csv): read_csv, read_excel (separator, encoding, nagłówki, typy)
• Zapis danych: to_csv, to_excel
• Atrybuty ramki: shape, info, dtypes, describe, head/tail
• Dodawanie i usuwanie wierszy: concat, append (omówienie praktyki), drop
• Indeksery: loc, iloc, at, iat — dobór i typowe błędy
• Filtracja danych: warunki, query, filtry tekstowe (str.contains)
• Operacje na ramce: kolumny wyliczane, apply/map, zmiana typów, sortowanie
• Grupowanie i agregacja: groupby, agregacje, pivot_table (podstawy)

DZIEŃ 3 - EDA i przygotowanie danych dla Matplotlib

1. Analiza eksploracyjna i przygotowanie danych

• Typy i rozmiar danych: dtypes, liczność, kardynalność kategorii, pamięć
• Statystyki: miary tendencji centralnej i rozproszenia w Pandas, percentyle
• Kodowanie danych: one-hot (koncepcja + get_dummies), kodowanie etykiet (kiedy ostrożnie)
• Rodzaje braków danych: MCAR/MAR/MNAR (intuicyjnie), braki jawne/ukryte
• Wykrywanie braków danych: isna, analiza braków per kolumna/wiersz
• Podstawowe metody uzupełniania braków danych: średnia/mediana/moda, forward/back fill, wartość stała, reguły biznesowe
• Niespójności w danych: różne formaty dat, literówki, zakresy, jednostki
• Wartości odstające: IQR, percentyle, reguły progowe; decyzje: usuń/zmień/oznacz
• Korelacja danych: corr, interpretacja, korelacje pozorne (ostrzeżenia)
• Standaryzacja i skalowanie: standaryzacja (z-score), min–max (po co i kiedy)

2. Wizualizacja danych w pakiecie Matplotlib

• Konfiguracja wykresów: figure, axes, rozmiar, tytuły, etykiety osi, legenda, siatka, zapis savefig
• Podwykresy: subplots, układ, współdzielenie osi
• Wykres liniowy: trend, wiele serii
• Wykres rozrzutu: zależności, zaznaczanie outlierów
• Histogram: rozkład, dobór liczby koszy
• Wykres słupkowy: porównania kategorii
• Diagram kołowy: kiedy unikać i kiedy ma sens (krótko, praktycznie)
• Heatmap: macierz korelacji (na bazie imshow)
• Wyświetlanie obrazów: imshow (np. prosta praca na obrazach / macierzach)