Spark

Apache Spark — это платформа для распределенной обработки данных с открытым исходным кодом, предназначенная для быстрого выполнения задач по обработке больших данных. Поддерживает различные языки программирования, включая Scala, Java, Python и R, и используется для:

• анализа больших данных

• машинного обучения

• обработки потоков данных.

• Spark. Установка и настройка

• Spark. Архитектура

• Spark. Основные компоненты

• Spark. RDD (Resilient Distributed Dataset)

• Spark. DataFrame и Dataset

• Spark. Интеграция с другими инструментами

• Spark. Практические примеры и кейсы использования

Примеры

• Создание Dataframe из таблицы JDBC
• Обработка списка сотрудников в Spark
• Запуск pyspark в Jupyter
• Spark SQL