You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
f7b03faab6
|
5 years ago | |
|---|---|---|
| .. | ||
| README.md | 5 years ago | |
| example_of_runing_report_script_in_azure.png | 5 years ago | |
| hints.md | 5 years ago | |
README.md
Лабораторная 2. Формирование отчётов в Apache Spark
Задание
-
Преобразовать любой файл набора данных Stack Overflow в parquet формат c помощью Apache Spark.
-
Сформировать отчёт с информацией о частоте обсуждения 10 наиболее популярных языков программирования в каждом году с 2010 года по сегодняшний день. Используйте теги входящие в список языков перечисленных в википедии https://en.wikipedia.org/wiki/List_of_programming_languages.
Для выполнения задания вы можете использовать любую комбинацию Spark API: RDD API, Dataset API, SQL API.
Набор данных
Архивы сайтов Stack Exchange доступны по адресу https://archive.org/details/stackexchange.
В папке data данного репозитория вам доступны:
- выборка данных
posts_sample.xml, - файл со списком языков
programming-languages.csv, собранных с вики-страницы.
Рекомендуется отлаживать решение на небольшой выборке данных posts_sample.xml. Данная выборка была получена следующим кодом:
sc.textFile("/user/mapr/posts.xml").mapPartitions(_.take(100))