From 206641e6959087e766cbd583356e00fabec51618 Mon Sep 17 00:00:00 2001 From: Vladimir Protsenko Date: Wed, 24 Nov 2021 16:57:52 +0400 Subject: [PATCH] Moved the task to separate file. --- L1 - Introduction to Apache Spark/L1_Apache_Spark.md | 2 ++ .../L1_Apache_Spark_Tasks.md | 7 +++++++ .../L1_noninteractive_bike_analysis_scala.md | 8 -------- 3 files changed, 9 insertions(+), 8 deletions(-) create mode 100644 L1 - Introduction to Apache Spark/L1_Apache_Spark_Tasks.md diff --git a/L1 - Introduction to Apache Spark/L1_Apache_Spark.md b/L1 - Introduction to Apache Spark/L1_Apache_Spark.md index c0dca36..f9c1638 100644 --- a/L1 - Introduction to Apache Spark/L1_Apache_Spark.md +++ b/L1 - Introduction to Apache Spark/L1_Apache_Spark.md @@ -593,4 +593,6 @@ https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.StorageLev Проведите анализ данных велопарковок на языке Scala или Python в неинтерактивном режиме (`--deploy-mode cluster`). Инструкции по созданию и запуску приложений: - Scala `L1_noninteractive_bike_analysis_scala.md` - Python `L1_noninteractive_bike_analysis_scala.py` + +Решите задачи [L1_Apache_Spark_Tasks.md](L1_Apache_Spark_Tasks.md) diff --git a/L1 - Introduction to Apache Spark/L1_Apache_Spark_Tasks.md b/L1 - Introduction to Apache Spark/L1_Apache_Spark_Tasks.md new file mode 100644 index 0000000..6e321c8 --- /dev/null +++ b/L1 - Introduction to Apache Spark/L1_Apache_Spark_Tasks.md @@ -0,0 +1,7 @@ +## Решите следующие задачи для данных велопарковок Сан-Франциско (trips.csv, stations.csv): + +1. Найти велосипед с максимальным временем пробега. +2. Найти наибольшее геодезическое расстояние между станциями. +3. Найти путь велосипеда с максимальным временем пробега через станции. +4. Найти количество велосипедов в системе. +5. Найти пользователей потративших на поездки более 3 часов. \ No newline at end of file diff --git a/L1 - Introduction to Apache Spark/L1_noninteractive_bike_analysis_scala.md b/L1 - Introduction to Apache Spark/L1_noninteractive_bike_analysis_scala.md index 63b4a0b..50b2eac 100644 --- a/L1 - Introduction to Apache Spark/L1_noninteractive_bike_analysis_scala.md +++ b/L1 - Introduction to Apache Spark/L1_noninteractive_bike_analysis_scala.md @@ -375,14 +375,6 @@ val firstGrouped = tripsByStartStation ![](images/21_.png) -## Задачи: - -1. Найти велосипед с максимальным пробегом. -2. Найти наибольшее расстояние между станциями. -3. Найти путь велосипеда с максимальным пробегом через станции. -4. Найти количество велосипедов в системе. -5. Найти пользователей потративших на поездки более 3 часов. - ## Запуск проекта в кластере Для запуска собранного проекта на сервере используйте команду `spark-submit`. Однако прежде чем собрать проект, необходимо его изменить, так как в данный момент в коде зашиты пути к файлам с данными в локальной системе и режим запуска (`setMaster(“local[2]“)`).