Apache Airflow и конвейеры обработки данных
Авторы: Харенслак Б., де Руйтер Дж.
Издательство: ДМК-Пресс
ISBN 978-5-97060-970-5; 2022 г.
Кол-во страниц: 502
Предварительный просмотр:
О книге:
Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания конвейеров. Простота пользовательского интерфейса, возможности plug-and-play и гибкие сценарии Python оптимизируют решение любых задач, касающихся управления данными.
Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных. Вы изучите наиболее распространен-ные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера.
Издание предназначено для специалистов по DevOps, обработке и хранению данных, машинному обучению, а также системных администраторов с навыками программирования на Python.