Обучение на инженера данных для начинающих специалистов.
- Работа в корпоративной среде. Трекинг задач. Постановка задачи. Жизненный цикл задачи.
- Основы Python. Программирование на Python.
- Углублённый Python. Синтаксис Python. Готовим инструменты разработки. Объектно-ориентированное программирование.
- Алгоритмы и структуры данных. Основы алгоритмов. Представление данных в памяти. Рекурсия и сортировки.
- Основы SQL и баз данных. Устройство PostgreSQL. Основы SQL и DDL. Основы SQL и DML. Нормализация и взаимоотношение. Объединение таблиц. Функции.
- Продвинутый SQL для работы с данными. Подзапросы и общие табличные выражения. Оконные функции. Представления. Продвинутые типы данных. Транзакции и блокировки.
- Как построить аналитическое хранилище данных. PostgreSQL и DBeaver. Нормальные формы. Знакомство с DWH. Погружение в DWH. SCD и его типы.
- Работа с данными в хранилище. Витрина данных и VIEW. Оптимизация запросов.
- ELT: автоматизация подготовки данных . Анализ вводных по задаче. Проектирование ETL-процесса. Ликбез по Airflow. Реализация ETL в Airflow.
- Проверка качества данных. Требования к качеству данных. Проектирование и разработка проверки.
- DWH для нескольких источников. Сбор требований и исследование источников. Проектирование DWH. Реализация DWH.Тестирование, интеграция и документация.
- Аналитические базы данных. Аналитические СУБД и Vertica. Разработка аналитической базы данных.
- Организация Data Lake. Проектирование Data Lake. Знакомство со Spark. PySpark для инженера данных.
- Потоковая обработка данных. Потоковая обработка с Kafka и Spark Streaming. Настройка потока данных.
- Облачные технологии. Облачные технологии Yandex Cloud. Подготовка и изучение источников.Создание окружения сервисов. Написание первого сервиса. Знакомство с DataLens.
- Выпускной проект или пет-проект. В конце курса у вас будет выбор: выполнить ещё один учебный проект или реализовать пет-проект. В первом случае нужно выбрать бизнес-задачу и разработать архитектуру данных с использованием всех изученных инструментов. Во втором случае вы сможете воплотить в жизнь и защитить личный проект. Что бы вы ни выбрали, вас поддержат наставники и ревьюеры, а получившийся кейс украсит ваше портфолио.
- Трудоустройство. Эта часть курса для тех, кто решил найти работу в сфере разработки. Вы изучите стратегии поиска работы и узнаете о тонкостях выбора компании-работодателя, подготовите портфолио, напишете резюме и сопроводительное письмо.
- Акселерация. Программа сопровождения: вы ищете работу, мы консультируем и помогаем. Участвовать в программе могут те, кто закончил программу трудоустройства и находится в активном поиске работы.
- Воркшопы для разбора ключевых тем, сессии Q&A. Описание отсутствует
