Big data

Sylabus predmetu

V rámci predmetu bude obsah zameraný na nasledujúce tri oblasti: • Úvod do problému rozsiahlych súborov údajov. Súčasné výzvy, trendy a aplikácie. Zahŕňa tiež také témy ako história veľkých údajov, ich prvky, typy, výhody, nevýhody a pod. Definícia rozsiahlych súborov údajov, podnikové / štruktúrované dáta, sociálne / neštruktúrované dáta, neštruktúrované dáta pre analytické služby, čo sú rozsiahle súbory údajov, zdroje rozsiahlych súborov údajov, odvetvia využívajúce rozsiahle súbory údajov, výzvy, ktorým čelíme v oblasti rozsiahlych súborov údajov. Využívanie rozsiahlych súborov údajov v podnikoch a podnikaní. Perspektíva aplikácií Big Data, ktorá pokrýva témy, ako napríklad využitie rozsiahlych súborov údajov v oblasti marketingu, analytík, maloobchodu, zdravotnej starostlivosti, spotrebného tovaru, obrany, štátnej a verejnej správy atď. • Algoritmy pre analýzu rozsiahlych súborov údajov. Algoritmy dolovania poznatkov a UI, ktoré boli vyvinuté špeciálne na riešenie problémov spracovania veľkých súborov údajov. Algoritmy na dolovanie dát pre rozsiahle množiny údajov a streamovaných dátových tokov. • Technológie pre správu veľkých súborov údajov. Big Data technológie a nástroje, s osobitným dôrazom na paradigma Map-Reduce a ekosystém Hadoop. Táto oblasť pokrýva také témy ako úvod do Hadoop, fungovanie Hadoop, Cloud computing (funkcie, výhody, aplikácie). Pochopenie ekosystému Hadoop a jeho ekosystém, ktorý zahŕňa HDFS, MapReduce, YARN, HBase, Hive, Pig, Sqoop, Zookeeper, Flume, Oozie atď. Základy MapReduce a HBase kladie dôraz na vytvorenie jednoduchého mapreduce rámca a koncepcií, ktoré sa naň uplatňujú. Táto oblasť tiež pokrýva zásobník rozsiahlych súborov údajov, t.j. vrstvu zdroja údajov, vrstvu pre príjem, zdrojovú vrstvu, bezpečnostnú vrstvu, vizualizačnú vrstvu, vizualizačné prístupy atď. Táto oblasť tiež pokrýva informácie o NoSQL systémoch riadenia dát, vrátane databáz dokumentov, vzťahov, databáz grafov, databáz bez schém a pod.