You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

Go to file

Vladimir Protsenko 00a4f61990 2024		2 years ago
L0 - Introduction to MapReduce data processing model	Fixed ipynb file	3 years ago
L1 - Introduction to Apache Spark	Update 'L1 - Introduction to Apache Spark/L1_interactive_bike_analysis_python_with_rdd.ipynb'	3 years ago
L2 - Reports with Apache Spark	Clarification of lab 2 task.	4 years ago
L3 - Stream processing with Apache Flink	Added link to more real-world exercises with Flink.	3 years ago
data	Added DataFrame/SQL examples. Introduced two errors in first two rows of trips dataset to practice with non-available values.	4 years ago
.gitignore	Added python path.	4 years ago
QnA.md	Update QnA.md	5 years ago
README.md	2024	2 years ago

Материалы курса "Большие данные" 2024 (бакалавры)

Время	Лабораторная работа	Форма отчётности
Февраль	Введение в Mapreduce	jupyter ноутбук с выполненными заданиями
Март	Введение в Apache Spark	jupyter ноутбук или проект с выполненными заданиями и отчёт
Апрель	Формирование отчётов в Apache Spark	jupyter ноутбук или скрипт/проект и отчёт
Май	Потоковая обработка в Apache Flink	проект с выполненными заданиями и отчёт (с зелёными тестами)

Spark лабораторные могут выполняться в Google Colab, наподобие того, как это сделано здесь https://colab.research.google.com/drive/1G894WS7ltIUTusWWmsCnF_zQhQqZCDOc.

В заданиях используйте выборки данных из папки data .

Для сдачи выкладывайте решения в репозиторий на github (или иной хостинг на основе системы контроля версий).