1 of 26

Программное обеспечение для Big Data

Лекция 3

2 of 26

5V

Мы уже знаем, что Big Data характеризуется тремя ключевыми свойствами (так называемые 3V):

Volume (объём) — данные измеряются в терабайтах и петабайтах, что значительно превышает возможности традиционных систем хранения и обработки.
Velocity (скорость) — данные поступают в режиме реального времени: от финансовых транзакций до потоков с IoT-устройств. Их нужно не только хранить, но и анализировать почти мгновенно.
Variety (разнообразие) — это не только структурированные таблицы, но и изображения, тексты, видео, графы связей, полу-структурированные данные (JSON, XML).

К этим трём часто добавляют ещё два свойства:

Veracity (достоверность) — данные могут быть шумными, неполными, требующими очистки.
Value (ценность) — не сами данные важны, а возможность извлечь из них полезную информацию: прогнозы, инсайты, автоматизацию.

Без специальных технологий такие данные невозможно эффективно хранить, обрабатывать и анализировать.

3 of 26

Зачем анализировать большие данные

Поддержка бизнес-решений
Научные исследования
Машинное обучение и ИИ
Управление в реальном времени

4 of 26

Основные требования к инструментам для Big Data

Масштабируемость
Отказоустойчивость
Поддержка разных типов данных
Batch и streaming
Удобство разработки
Интеграции
Экономичность

Основные требования к инструментам для Big Data

Чтобы справляться с такими задачами, программные решения должны обладать рядом качеств:

Масштабируемость — возможность увеличивать ресурсы (от десятков до тысяч серверов) по мере роста объёма данных.
Отказоустойчивость — система должна продолжать работу даже при сбоях отдельных узлов или дисков.
Поддержка разных типов данных — от таблиц до изображений и потоков событий.
Batch и streaming — обработка как исторических архивов, так и данных, поступающих в реальном времени.
Удобство разработки — наличие библиотек, API, поддержки популярных языков.
Интеграции — совместимость с системами хранения, BI-инструментами, ML-фреймворками.
Экономичность — разумная стоимость владения, возможность оптимизировать использование ресурсов.

5 of 26

Инструменты для обработки больших данных

6 of 26

1. Apache Hadoop

распределенная обработка больших наборов данных
на базе распределенной файловой системы Hadoop (HDFS)
Hadoop MapReduce разделяет обработку данных на более мелкие задачи, выполняемые параллельно

1. Apache Hadoop

Apache Hadoop — одна из самых распространенных в отрасли платформ для обработки больших данных. Она обеспечивает распределенную обработку больших наборов данных в кластерах компьютеров. Hadoop построен на базе распределенной файловой системы Hadoop (HDFS), которая разбивает данные на блоки и хранит их на нескольких узлах, обеспечивая отказоустойчивость и масштабируемость.

Программная модель Hadoop MapReduce разделяет обработку данных на более мелкие задачи, выполняемые параллельно, что значительно ускоряет время обработки [1-3].

7 of 26

1. Apache Hadoop

Масштабируемость
Стоимость
Гибкость форматов данных
Отказоустойчивость

Неоперативность/задержки
Плохо подходит для задач в реальном времени
Сложность настройки, поддержки
Проблемы с большим количеством маленьких файлов

Плюсы

Минусы

Плюсы

Масштабируемость: может работать на больших кластерах, увеличивая число узлов.
Стоимость: открытый исходный код, возможность использовать “commodity hardware” (относительно недорогое оборудование).
Гибкость форматов данных: способен хранить и обрабатывать структуры, полу-структурированные, неструктурированные данные.
Отказоустойчивость: репликация данных, устойчивость к сбоям отдельных узлов.

Минусы

Неоперативность / задержки: MapReduce часто предполагает большие накладные расходы, особенно когда много чтения-записи на диск.
Плохо подходит для стриминга или задач в реальном времени — преимущество в “batch” обработке.
Сложность настройки, поддержки, требования к администрированию кластера.
Проблемы с большим количеством маленьких файлов — нагрузка на метаданные (NameNode).

8 of 26

1. Apache Hadoop

9 of 26

2. Apache Spark

фреймворк с открытым исходным кодом
распределенная обработка данных
скорость, интерактивность, возможность работы в памяти

10 of 26

2. Apache Spark

Spark SQL - работа со структурированными данными, SQL-запросы
Spark Streaming - обработка потоков данных в (почти) реальном времени
MLlib - библиотека машинного обучения
GraphX - обработка графов

11 of 26

2. Apache Spark

Скорость
Гибкость
Языки API (Scala, Java, Python, R)
Интеграция с другими системами хранения данных (HDFS, Cassandra, S3)

Потребление ресурсов
Сложности с оптимизацией
Не все можно держать в памяти

Плюсы

Минусы

Плюсы

Скорость: за счёт обработки “in-memory” (то есть данных в памяти, минимизация операций чтения/записи на диск) значительно быстрее, чем традиционный Hadoop MapReduce для многих задач.

Гибкость: может обслуживать разные режимы: batch, стриминг, интерактивные запросы, ML.

Языки API: поддержка Scala, Java, Python, R.

Хорошая интеграция с другими системами хранения данных (HDFS, Cassandra, S3 и др.).

Минусы

Потребление ресурсов: большое потребление памяти, если задача требует больших данных в памяти. Может быть дорого, особенно если кластер большой и есть перегрузки GC (сборка мусора).
Сложности с оптимизацией: некоторые операции могут “провалиться” по производительности, если неправильно настроены, особенно при shuffle, перегруппировках, join’ах.
Не всё можно держать в памяти; если данные слишком большие, приходится часто обращаться к диску.

12 of 26

2. Apache Spark

13 of 26

3. Coresignal

веб-провайдер данных для инвестиций, подбора персонала и маркетинговых исследований
специализируется на предоставлении фирмографических данных, данных о сотрудниках и вакансиях
eго API и наборы данных структурированы для легкой интеграции

3. Coresignal

Coresignal — общедоступный веб-провайдер данных для инвестиций, подбора персонала и маркетинговых исследований. Он предлагает обширные наборы данных, собранные из общедоступных онлайн-источников, помогая компаниям принимать решения на основе данных.

Coresignal специализируется на предоставлении фирмографических данных, данных о сотрудниках и вакансиях, что крайне важно для организаций, стремящихся улучшить лидогенерацию, расширить наборы данных или построить прогнозные модели. Его API и наборы данных структурированы для легкой интеграции, что делает его ценным ресурсом для хедж-фондов, венчурных капиталистов и предприятий, ориентированных на данные [9-10].

14 of 26

3. Coresignal

Данные готовые
Частое обновление данных.
Гибкость доступа
Может быть использован для обогащения существующих данных, анализа рынка, лидогенерации и др

Стоимость
Зависимость от стороннего поставщика
Потенциальные проблемы с юридическими/этическими/ конфиденциальностью

Плюсы

Минусы

Плюсы

Данные готовые: нет необходимости самим собирать из разных публичных источников, обрабатывать, очищать.
Частое обновление данных.
Гибкость доступа: можно через API, выбрать поднабор, фильтры, формат.
Может быть использован для обогащения существующих данных, анализа рынка, лидогенерации и др.

Минусы

Стоимость: такие сервисы не бесплатны, особенно при больших объемах / частых запросах. (зависит от тарифа.)
Зависимость от стороннего поставщика: качество, формат, доступность, возможные ограничения API.
Потенциальные проблемы с юридическими / этическими / конфиденциальностью (если используется персональная информация, публичные источники могут быть ограничены законодательством).

15 of 26

3. Coresignal

для обогащения баз клиентов / CRM данных
аналитика рынка, конкурентный анализ

16 of 26

4. Google Cloud BigQuery

решение для бессерверного хранилища данных
для обработки петабайт данных и предлагает аналитику в режиме реального времени

17 of 26

4. Google Cloud BigQuery

Нет необходимости управлять инфраструктурой (“serverless”)
Масштабирование
Быстрые SQL-запросы на больших объемах
Интеграция с другими сервисами GCP, визуализации, BI инструментами

Стоимость может быть высокой
Меньший контроль над инфраструктурой
Возможный vendor lock-in

Плюсы

Минусы

Плюсы

Нет необходимости управлять инфраструктурой (кластерами, серверами) — “serverless”.

Масштабирование: может работать с петабайтами данных.

Быстрые SQL-запросы на больших объемах — оптимизации, columnar storage, распределённые вычисления.

Интеграция с другими сервисами GCP, визуализации, BI инструментами.

Минусы

Стоимость может быть высокой, особенно если много мелких запросов или частый обмен данными / запросы, которые сканируют большое количество данных.

Меньший контроль над инфраструктурой — не всегда возможно глубоко настраивать выполнить что-то “низкоуровневое”.

Возможный vendor lock-in: сильно интегрирован в экосистему Google Cloud.��Что такое Vendor lock-in (привязка к поставщику) — это ситуация, при которой клиент оказывается зависим от одного поставщика продуктов или услуг, и переход к другому поставщику становится чрезмерно сложным или дорогостоящим

18 of 26

4. Google Cloud BigQuery

Примеры использования

Университет Purdue (Joint Transportation Research Program) использовал BigQuery для анализа транспортных данных из нескольких штатов: до миграции запрос занимал ~90 минут, после использования BigQuery — примерно 7 минут.
Еще один пример: Spotify. им Нужно было модернизировать систему обработки данных: старые Hadoop / Hive / MapReduce + внутренняя система дашбордов была медленной, трудоёмкой и дорогостоящей.

Spotify мигрировал значительную часть своей инфраструктуры данных в Google Cloud.

После внедрения запросы, которые раньше занимали часы, стали выполняться за минуты. Улучшилась скорость разработки, появилась возможность делать более частый интерактивный анализ.

19 of 26

5. Amazon EMR

управляемый облачный сервис от AWS для запуска фреймворков типа Hadoop, Spark, Hive, Presto и др. на кластерах, с возможностью масштабирования, автоматизации
позволяет быстро разворачивать кластеры под задачи обработки больших данных, запуск ETL, аналитики, стриминга

20 of 26

5. Amazon EMR

Интеграция с другими AWS сервисами
Гибкость
Управляемость

Стоимость
Накладные расходы при старте кластера, управлении
Сложность в настройке оптимальных параметров

Плюсы

Минусы

Плюсы

Интеграция с другими AWS сервисами: S3 для хранения, DynamoDB, Redshift и др.
Гибкость: можно выбрать разные типы инстансов, использовать spot-instances для экономии, авто-масштабирование.
Управляемость: AWS заботится про часть инфраструктуры, мониторинг, обновления и др.

Минусы

Стоимость: инстансы, хранение, данные, сетевые передачи — если не оптимизировать, счёт может быть большим.
Латентность / накладные расходы при старте кластера, управлении, особенно если кластер живёт непродолжительное время.
Сложность в настройке оптимальных параметров (размеры узлов, сетевые настройки, балансировка) — нужно знание AWS, Big Data.

21 of 26

5. Amazon EMR

22 of 26

6. Microsoft Azure HDInsight

облачная управляемая служба от Microsoft, предоставляющая кластеры Hadoop, Spark, Hive, Kafka, Storm и др.
подходит для обработки больших данных, как batch, так и стриминг, аналитика, ML, обработки логов

23 of 26

6. Microsoft Azure HDInsight

Глубокая интеграция с сервисами Azure: Data Lake Storage, Azure Active Directory, Data Factory и др.
Управляемость и SLA-гарантии облака, облегчают администрирование.
Поддержка множества фреймворков: Hadoop, Spark, Kafka, Hive

Как и в других облаках — расходы
Возможны сложности с настройкой и оптимизацией
Меньшая гибкость в управлении

Плюсы

Минусы

Плюсы

Глубокая интеграция с сервисами Azure: Data Lake Storage, Azure Active Directory, Data Factory и др.
Управляемость и SLA-гарантии облака, облегчают администрирование.
Поддержка множества фрейм-ворков: Hadoop, Spark, Kafka, Hive и др.

Минусы

Как и в других облаках — расходы: плата за вычислительные ресурсы, хранение, сетевую передачу, особенно если данные большие и “неживущие” кластеры.
Возможны сложности с настройкой и оптимизацией, особенно для высоких требований по производительности и низкой задержке.
Меньшая “гибкость” в некоторых аспектах по сравнению с “самостоятельно управляемыми” кластерами — вы зависите от облачного провайдера по некоторым компонентам.

24 of 26

6. Microsoft Azure HDInsight

25 of 26

Заключение

Нет «универсального» решения для всех задач Big Data - выбор инструмента зависит от конкретных целей
Hadoop подходит для распределённого хранения и batch-обработки, а Spark - для стриминга и машинного обучения
Coresignal выделяется как поставщик данных, а не вычислительная платформа
Облачные сервисы (BigQuery, Amazon EMR, Azure HDInsight) позволяют сосредоточиться на аналитике, но увеличивают зависимость от провайдера
Современные компании часто используют комбинацию инструментов

Заключение

Нет «универсального» решения для всех задач Big Data — выбор инструмента зависит от конкретных целей: хранение, обработка в реальном времени, аналитика, обогащение данными.�
Hadoop остаётся базовой технологией для распределённого хранения и batch-обработки,� а Spark обеспечивает высокую скорость и гибкость, включая стриминг и машинное обучение.�
Coresignal выделяется как поставщик данных, а не вычислительная платформа — он важен там, где нужен доступ к внешним источникам информации.�
Облачные сервисы (BigQuery, Amazon EMR, Azure HDInsight) позволяют сосредоточиться на аналитике, снимая нагрузку управления инфраструктурой, но увеличивают зависимость от провайдера и могут быть дорогими.�
Современные компании часто используют комбинацию инструментов: Hadoop/Spark для обработки, облачные сервисы для аналитики и визуализации, сторонние провайдеры данных для расширения возможностей.

26 of 26

Программное обеспечение для Big Data

Лекция 3