Курс Big Data

Описание курса

В результате прохождения курса студенты овладеют современными методами и алгоритмами теории интеллектуального анализа больших данных и машинного обучения.

 

Цель курса — формирование реальных навыков в анализе, обработке, поиске шаблонов и построении прогнозов на основе данных.

После курса вы сможете:

• Анализировать и обрабатывать большие и сверхбольшие данные в различных форматах с целью поддержки принятия решений
• Находить шаблоны в больших и сверхбольших базах данных и массивах текста
• Строить прогнозы с использованием современных методов и алгоритмов интеллектуального анализа данных
• Использовать программное обеспечение для интеллектуального анализа данных в практической работе.

Программа курса:

---

1. Введение в курс. Настройка среды. Базовые знания и умения программирования на Python и Scala

2. Hadoop, файловая система HDFS и парадигма MapReduce

3. NoSQL среды. Теорема CAP. Apache Cassandra

4. Apache Spark Core

5. Apache Spark: DataFrames, DataSets

6. Apache Spark: анализ выполнения и оптимизация работы

7. Задачи машинного обучения с Apache Spark

8. Оркестрация вычислений: Docker+Kubernetes

9. Оркестрация вычислений: Apache Airflow

10. Собираем всё в одно целое: пишем проект на Apache Spark с анализом входных данных и записью в Cassandra

11. Оркестрация проекта с помощью Apache Airflow

12. Визуализация результата в Grafana

---

Минимальные требования:

• Очень желательно (но не обязательно) владение знаниями теории вероятностей: дискретная и непрерывная случайная величина, математическое ожидание, дисперсия, условное математическое ожидание;
• Владение на начальном уровне языком программирования Python.

---

* Указанные скидки не суммируются с другими действующими акциями и специальными предложениями. Если у Вас возникли вопросы, обращайтесь за консультацией к нашим менеджерам!