You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

1.9 KiB

Raw Blame History Unescape Escape

Лабораторная 2. Формирование отчётов в Apache Spark

Задание

Преобразовать любой файл набора данных Stack Overflow в parquet формат c помощью Apache Spark.
Сформировать отчёт с информацией о частоте обсуждения 10 наиболее популярных языков программирования в каждом году с 2010 года по сегодняшний день. Используйте теги входящие в список языков перечисленных в википедии https://en.wikipedia.org/wiki/List_of_programming_languages.

Для выполнения задания вы можете использовать любую комбинацию Spark API: RDD API, Dataset API, SQL API.

Набор данных

Архивы сайтов Stack Exchange доступны по адресу https://archive.org/details/stackexchange.

В папке data данного репозитория вам доступны:

выборка данных posts_sample.xml (из stackoverflow.com-Posts.7z),
файл со списком языков programming-languages.csv, собранных с вики-страницы.

Рекомендуется отлаживать решение на небольшой выборке данных posts_sample.xml. Данная выборка была получена следующим кодом:

 sc.textFile("/user/mapr/posts.xml").mapPartitions(_.take(100))

Ссылки на источники