Apache Arrow. Обработка больших данных в оперативной памяти
Apache Arrow – это программная платформа с открытым исходным кодом, предназначенная для разработки приложений, эффективно выполняющих обработку и анализ табличных данных за счет размещения в оперативной памяти. В обновленном втором издании представлен обзор формата Arrow с акцентом на его преимуществах и универсальности.
Эта книга познакомит вас с форматами обмена и хранения данных и расскажет о взаимосвязи Arrow с Parquet, Protocol Buffers, FlatBuffers, JSON и CSV. Вы откроете для себя подпроекты Apache Arrow, включая Flight, SQL, Database Connectivity и nanoarrow, и освоите интеграцию с популярными системами обработки аналитических данных Snowflake, Dremio и DuckDB. В заключительных главах приводятся реальные примеры и описания продуктов на базе Apache Arrow.
Вы научитесь:
- использовать библиотеки Apache Arrow;
- обеспечивать эффективное производство и потребление данных Apache Arrow;
- применять вычислительный механизм Arrow Асего для выполнения сложных операций;
- создавать серверы и клиенты Arrow Flight для быстрой передачи данных;
- создавать библиотеки Arrow в локальном режиме и распространять их в сообществе.
Желательны базовые знания концепций анализа данных. В книге представлены многочисленные примеры исходного кода на языках C++, Python и Go.
Издание предназначено разработчикам, инженерам и научным работникам, занятым в обработке данных и желающим в полной мере изучить и использовать функциональные возможности Apache Arrow. Независимо от того, создаете ли вы утилиты для анализа данных и механизмов запросов или формируете полнофункциональные конвейеры для обработки табличных данных, эта книга поможет вам организовать работу на любом языке программирования. Программисты и исследователи найдут в ней рекомендации по выбору оптимальной среды для достижения целевых задач приложения, а также по управлению большими данными и их анализу.
