1b3a359c2d
|
1 year ago | |
|---|---|---|
| L0 - Introduction to MapReduce data processing model | 2 years ago | |
| L1 - Introduction to Apache Spark | 2 years ago | |
| L2 - Reports with Apache Spark | 3 years ago | |
| L3 - Stream processing with Apache Flink | 2 years ago | |
| data | 3 years ago | |
| .gitignore | 3 years ago | |
| QnA.md | 4 years ago | |
| README.md | 1 year ago | |
README.md
Материалы курса "Большие данные" 2024 (бакалавры)
График выполнения и форма отчётности
| Время | Лабораторная работа | Форма отчётности |
|---|---|---|
| Февраль | Введение в Mapreduce | jupyter ноутбук с выполненными заданиями |
| Март | Введение в Apache Spark | jupyter ноутбук или проект с выполненными заданиями и отчёт |
| Апрель | Формирование отчётов в Apache Spark | jupyter ноутбук или скрипт/проект и отчёт |
| Май | Потоковая обработка в Apache Flink | проект с выполненными заданиями и отчёт (с зелёными тестами) |
Spark лабораторные могут выполняться в Google Colab, наподобие того, как это сделано здесь https://colab.research.google.com/drive/1G894WS7ltIUTusWWmsCnF_zQhQqZCDOc.
В заданиях используйте выборки данных из папки data .
Для сдачи выкладывайте решения в репозиторий на github (или иной хостинг на основе системы контроля версий). Защита проходит онлайн в виде проверки выполнения заданий и 1-2 вопросов по каждой лабораторной.