Apache Airflow и конвейеры обработки данных — Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания конвейеров. Простота пользовательского интерфейса, возможности plug-and-play и гибкие сценарии Python оптимизируют решение любых задач, касающихся управления данными. Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных. Вы изучите наиболее распространенные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера. Издание предназначено для специалистов по DevOps, обработке и хранению данных, машинному обучению, а также системных администраторов с навыками программирования на Python.
Методы, модели, средства хранения и обработки данных — В учебнике рассмотрены следующие вопросы: теория, методология и практика работы с данными, базами данных, базами знаний и хранилищами данных; модели представления данных в памяти компьютера — модель «сущность — связь»; дореляционные модели представления данных, реляционные базы данных; п ...
Библиотека pandas - популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, - начиная с обзора загрузки данных с удаленных ...
С помощью этой книги Вы сможете начать работу с Apache Flink, фреймворком с открытым исходным кодом, на котором основаны многие крупнейшие в мире системы для обработки потоковых данных. Из книги Вы получите фундаментальные понятия о параллельной потоковой обработке и узнаете, чем эта технология отличается от традиционной пакетной обработки данных. ...
Справочник состоит из восьми глав: общие сведения, общие вопросы расчета конвейеров, составные части конвейеров с гибким тяговым элементом, ленточные конвейеры, напольные цепные конвейеры, подвесные конвейеры, ковшовые конвейеры и элеваторы, конвейеры без тягового элемента. Представлены основные нормативные данные по конструкции и расчетам конвейер ...
Книга посвящена практическим методам анализа больших объемов данных с использованием языка Python и фреймворка Spark, она знакомит с моделью программирования Spark и основами системы с открытым исходным кодом PySpark. Каждая глава описывает отдельный аспект анализа данных, показаны основы обработки данных в PySpark и Python на примере очистки данны ...
Данный материал НЕ НАРУШАЕТ авторские права никаких физических или юридических лиц. Если это не так - свяжитесь с администрацией сайта. Материал будет немедленно удален. Электронная версия этой публикации предоставляется только в ознакомительных целях. Для дальнейшего её использования Вам необходимо будет приобрести бумажный (электронный, аудио) вариант у правообладателей.
Название: 
Распечатать
