Big Data – technologie analizy danych

PRZEDMIOT

LICZBA GODZIN

ZAGADNIENIA

Wprowadzenie do Big Data 8
  • Wprowadzenie do dziedziny Big Data oraz definicja podstawowych pojęć.
  • Generatywna sztuczna inteligencja (AI).
Przedsiębiorstwo oparte na danych - proces transformacji 8
  • Typy danych w organizacji: operacyjne, analityczne, zewnętrzne.
  • Podstawy modelowania danych: transakcyjne, nieustrukturyzowane, dimensional model.
  • Metody wykorzystania danych: analityka i wprowadzenie do uczenia maszynowego.
  • Kompetencje w organizacji – specjalizacje związane z przetwarzaniem danych – data engineering w tym: streaming, storage, ETL, ELT, data warehousing, data science, MLOps. Specjalizacje pomocnicze: cloud, devops, analityka, modelowanie, analiza biznesowa, UX.
  • Transformacja organizacji: data adoption, data discovery, podnoszenie kwalifikacji, Machine Learning Discovery.
  • Platformy przetwarzania danych: ETL i ELT - scenariusze użycia, konteksty technologie; przykłady platform z zastosowaniem narzędzi; sposoby zarządzania platformami.
  • Domenowe podejście do danych – Prawo Conwaya, wstęp do Domain Driven Design, Data Mesh.
Systemy baz danych. Język SQL 16
  • Wprowadzenie do relacyjnych baz danych.
  • Podstawy SQL.
Przygotowanie danych do analizy 16
  • Podstawowe funkcje programu Excel.
  • Tabele przestawne.
  • Power Query - czyszczenie i transformacja danych.
  • Przygotowanie zbioru danych do analizy.
Algorytmy i modele analityki predykcyjnej przy użyciu Big Data 12
  • Analiza zbioru danych z wykorzystaniem technik i metod statystyki opisowej.
  • Algorytmy grupowania.
  • Klasyfikacja i regresja.
Wprowadzenie do języka Python 28
  • Wprowadzenie do środowiska pracy w języku Python, zarządzanie pakietami.
  • Zmienne i podstawowe operatory, operacje wejścia-wyjścia.
  • Instrukcje warunkowe i iteracyjne.
  • Struktury danych: listy, słowniki.
  • Funkcje.
  • Odczyt/zapis do /z pliku.
  • Wyjątki
  • Wprowadzenie do systemów kontroli wersji.
  • Przygotowanie do certyfikatu Cisco PCAP (Programming Essentials in Python).
Sztuczna inteligencja 12
  • Czym jest sztuczna inteligencja.
  • Uczenie maszynowe.
  • Sieci neuronowe.
  • Uczenie głębokie.
  • Uczenie w warunkach niepewności.
Wizualizacja danych Big Data 20
  • Wprowadzenie do wizualizacji danych. Charakterystyka procesu oraz podstawowych pojęć.
  • Zasady i dobre praktyki projektowania efektywnych wizualizacji. Typowe błędy i sposoby ich naprawiania. Rozpoznawanie manipulacji z wykorzystaniem wizualizacji.
  • Projektowanie systemu wskaźników oraz pulpitów.
  • Zastosowanie Power BI do Wizualizacji danych
Język Python w analizie danych i uczeniu maszynowym 20
  • Inteligentna analiza i eksploracja danych.
  • Sztuczne sieci neuronowe.
  • Rozpoznawanie obrazów.
  • Przetwarzanie tekstu i mowy.
Bazy i hurtownie danych dla Big Data 28
  • Wprowadzenie do bazy i hurtownie danych dla Big Data. Podstawowe techniki i narzędzia.
  • Programowanie rozwiązań z wykorzystaniem Node.js
  • Wprowadzenie do języka MongoDB.
  • Zastosowanie wyrażeń regularnych w przetwarzaniu dużych zbiorów danych.
  • Implementacja algorytmów typu MapReduce.
  • Alternatywne metody programowania rozwiązań Big Data - SnowFlake.
  • Klasyfikacja zbiorów danych i badanie jakości danych.
  • Generowanie raportów na podstawie danych Big Data.
Chmura AWS i bezpieczeństwo danych 16
  • Tworzenie wirtualnych instancji maszyny oraz magazynu pamięci. Usługa EC2 oraz Amazon S3.
  • Sposoby dostarczania i wyświetlenia treści z wykorzystaniem różnych usług.
  • Wykorzystanie pamięci do przechowywania danych trwałych oraz tymczasowych
  • Podstawowe usługi zapewniające bezpieczeństwo w chmurze.
  • Monitorowanie usług chmurowych.
  • Usługi bazy danych w chmurze.
Case study 8
  • Prezentacja przykładowych rozwiązań stosowanych w firmach zarządzających dużymi zbiorami danych
Razem 192