Apache Spark Training

Обзор услуги

Цели услуги

• Иметь представление о Apache Spark:
• Сравнение с классическим MapReduce
• Архитектура
• Варианты развертывания и запуска
• Основы аналитики Apache Spark
• Оптимизация производительности в Spark
• Иметь представление о среде Apache Zeppelin
• Отличать версиии в различных дистрибутивах
• Иметь представление о RDD
• Ознакомление с преимуществами Lazy Evaluation.
• Иметь представление о Spark SQL
• Использование различных источников данных в Spark SQL
• Распределенная обработка с DataFrame
• Отличать DataFrame от RDD
• Ознакомление с основными операциями с DataFrame
• Иметь представление о Spark Streaming
• Обработка потоковых данных с помощью DStreams
• Применение трансформаций и действий к DStreams
• Оконные функции в Spark Streaming

• "Запуск Spark задачи с помощью Spark shell"
• "Запуск Spark задачи с помощью Apache Zeppelin и визуализация результатов"
• "Запуск основных трансформаций и действий с помощью Apache Zeppelin"
• "Решение задачи анализа чеков с использованием RDD в Spark"
• "Запуск основных операций Spark SQL"
• "Решение задачи анализа чеков с использованием SparkSQL"
• "Решение задачи анализа потоковых данных с использованием Spark Streaming"