2 of 14

Зачем собирать большие данные

строить прогнозные модели,
мониторить в реальном времени,
анализировать поведение пользователей,
улучшать качество услуг и принимать решения на основе данных.

зачем собирать большие данные

В эпоху цифровой трансформации организации собирают данные со множеством источников: сенсоры, устройства Интернета вещей (IoT), лог-файлы серверов, веб-сервисы, API, социальные сети и многое другое. Это дает возможность:

-строить прогнозные модели,

-мониторить в реальном времени,

-анализировать поведение пользователей,

-улучшать качество услуг и принимать решения на основе данных.

Однако объём, скорость и разнообразие таких данных предъявляют серьезные вызовы к способам их сбора и интеграции. Неправильный подход на этапе сбора может привести к потере данных, дублированию, несогласованности и невозможности анализа.

Существует два фундаментальных подхода к сбору данных: пакетный (batch) и потоковый (streaming).

3 of 14

Источники Big Data

API и веб-сервисы - данные через REST, GraphQL, SOAP и прочие интерфейсы.
Парсинг / веб-скрейпинг - извлечение данных из HTML-страниц, таблиц, сайтов.
Лог-файлы систем - веб-серверы, приложения, журналы ошибок.
Сенсорные устройства / IoT - датчики температуры, GPS, акселерометры и др.
Социальные сети / платформы контента - поток комментариев, лайков, просмотров.
Внешние открытые датасеты / репозитории - CSV, JSON, наборы данных для исследований, Open Data платформы.

Источники Big Data

Прежде чем обсуждать стратегии сбора, важно понимать, откуда приходят данные:

API и веб-сервисы — данные через REST, GraphQL, SOAP и прочие интерфейсы.
Парсинг / веб-скрейпинг — извлечение данных из HTML-страниц, таблиц, сайтов.
Лог-файлы систем — веб-серверы, приложения, журналы ошибок.
Сенсорные устройства / IoT — датчики температуры, GPS, акселерометры и др.
Социальные сети / платформы контента — поток комментариев, лайков, просмотров.
Внешние открытые датасеты / репозитории — CSV, JSON, наборы данных для исследований, Open Data платформы.

Каждый источник имеет свои особенности: объём, частоту обновления, пропуски, ошибки, задержки.

4 of 14

Пакетный и потоковый подходы к сбору

Пакетный (Batch) сбор

Данные собираются за определенный период (час, день, неделя) и затем загружаются или обрабатываются одной большой задачей.

Преимущества:

Простота реализации.
Возможность делать сложные преобразования, агрегации.
Аппаратные ресурсы могут быть спланированы.

Недостатки:

Задержка между событием и его доступностью.
Не подходит, если нужно реагировать близко к реальному времени.

Потоковый (Streaming) сбор

Данные обрабатываются почти сразу после появления - каждое отдельное событие передается, обрабатывается и сохраняется

Преимущества:

Минимальная задержка - результат доступен почти мгновенно.
Можно реагировать на события сразу (система уведомлений, мониторинг).

Недостатки:

Более сложная архитектура и обеспечение устойчивости (обработка ошибок, порядок событий, повторные записи).
Требуется гарантировать надёжность, масштабируемость, устойчивость к сбоям.

Пакетный и потоковый подходы к сбору

1 Пакетный (Batch) сбор

При пакетной стратегии данные собираются за определенный период (час, день, неделя) и затем загружаются или обрабатываются одной большой задачей.

Преимущества:

Простота реализации.
Возможность делать сложные преобразования, агрегации.
Аппаратные ресурсы могут быть спланированы (работа вне пикового времени).

Недостатки:

Задержка между событием и его доступностью.
Не подходит, если нужно реагировать близко к реальному времени.

2 Потоковый (Streaming) сбор

При потоковой стратегии данные обрабатываются почти сразу после появления — каждое отдельное «событие» передается, обрабатывается и сохраняется.

Преимущества:

Минимальная задержка — результат доступен почти мгновенно.
Можно реагировать на события сразу (система уведомлений, мониторинг).

Недостатки:

Более сложная архитектура и обеспечение устойчивости (обработка ошибок, порядок событий, повторные записи).
Требуется гарантировать надёжность, масштабируемость, устойчивость к сбоям.

Современные инструменты (Kafka, Flink, Spark Streaming) позволяют строить такие потоки с высокой пропускной способностью и низкой задержкой.

5 of 14

Архитектуры для сбора и обработки данных: ETL, ELT

ETL (Extract – Transform – Load)

Данные извлекаются, предварительно трансформируются (очистка, агрегации), затем загружаются в целевое хранилище.

Подходит, когда нужно обеспечить чистоту данных до попадания в основное хранилище.

ELT (Extract – Load – Transform)

Данные сначала загружаются сырьем (raw) в хранилище, и преобразования выполняются уже в нем (на уровне хранилища).

Это удобно, если хранилище поддерживает мощные трансформации (например, аналитическая СУБД, облачные хранилища).

Архитектуры для сбора и обработки данных: ETL, ELT

ETL и ELT

ETL (Extract – Transform – Load)

Данные извлекаются, предварительно трансформируются (очистка, агрегации), затем загружаются в целевое хранилище.
Подходит, когда нужно обеспечить чистоту данных до попадания в основное хранилище.

ELT (Extract – Load – Transform)

Данные сначала загружаются «сырьём» (raw) в хранилище, и преобразования выполняются уже в нём (на уровне хранилища).
Это удобно, если хранилище поддерживает мощные трансформации (например, аналитическая СУБД, облачные хранилища).

Чтобы было более наглядно, то ETL применяется в банках и страховых фирмах из-за требований к точности, безопасности

и соответствию нормативам. Например, консолидировать данные клиентов из разных филиалов,

проверять качество и анонимизировать данные перед загрузкой в хранилище для анализа.

ELT часто используют компании, работающие в облаке: сначала загружают сырые данные в облачное хранилище (data lake), а трансформации выполняют уже внутри облака, когда появляются нужды (отчёты, модели ML и др.). Это компании Google / YouTube, Amazon (e-commerce и AWS Analytics), Spotify, Uber и Coursera.

6 of 14

Архитектуры для сбора и обработки данных: Lambda, Kappa

Lambda-архитектура

Сочетает batch-слой и потоковый слой.
Batch слой обрабатывает исторические данные, потоковый - обрабатывает новые события.
Объединение результатов через объединительный слой.
Позволяет строить как быстрые ответы, так и корректные исторические расчеты.

Kappa-архитектура

Упрощенная версия: вся обработка - потоковая.
Исторические данные могут быть проиграны как потоки (replay).
Убирается дубликация логики между batch и stream слоями.

Архитектуры для сбора и обработки данных: Lambda, Kappa

Lambda-архитектура

Сочетает batch-слой и потоковый слой.
Batch слой обрабатывает исторические данные, потоковый — обрабатывает новые события.
Объединение результатов через объединительный слой.
Позволяет строить как быстрые ответы, так и корректные исторические расчеты.

То есть, Lambda-архитектура полезна, когда нужно сохранить надёжность исторических данных + дать возможность обработки текущих событий.

Kappa-архитектура

Упрощённая версия: вся обработка — потоковая.
Исторические данные могут быть проиграны как потоки (replay).
Убирается дубликация логики между batch и stream слоями.

То есть, Kappa предпочитается, когда важна реагируемость в реальном времени, и когда требуется минимизировать различие между пакетной и потоковой обработкой.

Philips Healthcare — Kappa-архитектура. Philips внедрила Kappa-архитектуру для обработки отзывов пациентов и сигналов с медицинских устройств в реальном времени. Это позволило быстрее получать обратную связь и внедрять изменения в продуктах. Один из результатов: цикл разработки продукта сократился с 18 месяцев до 6 месяцев.

Uber применяет Kappa-подход, особенно для потоков живых данных: GPS-данных, перемещений, деталей поездок, для ценообразования и прогнозирования спроса. Потоковая обработка + возможность “replay” данных позволяют гибко управлять системами аналитики.

Netflix использует и потоковую обработку событий (user interactions, device metrics), и пакетную обработку (исторические логи, рекомендации на основе истории). Они применяют Lambda-архитектуру в части, где совмещаются поток и пакет, а также элементы Kappa-архитектуры для некоторых задач, чтобы упростить конвейеры и уменьшить дублирование кода.

7 of 14

Инструменты для извлечения и передачи данных

Инструмент	Основное назначение	Особенности и преимущества	Тип задач
Apache Kafka	Передача потоковых данных между системами	Высокая пропускная способность, устойчивость, масштабируемость; используется для событийных архитектур	Стриминг, интеграция микросервисов, логирование
Kafka Connect	Подключение источников и приемников данных без кода	Поддерживает коннекторы к БД, REST API, файлам; легко встраивается в Kafka	Интеграция источников, ETL/ELT pipelines
Apache NiFi	Визуальное проектирование потоков данных	Более 300 готовых процессоров, гибкая маршрутизация, контроль потока, приоритеты, безопасность	Dataflow orchestration, интеграция систем, очистка данных

Инструменты для извлечения и передачи данных

Некоторые из ключевых технологий и инструментов в экосистеме:

Apache Kafka — распределённый брокер сообщений / стриминг-платформа. Он используется для надежной передачи событий между системами с высокой пропускной способностью.
Kafka Connect — компонент Kafka для подключения источников (JDBC, файлы, API) и приёмников данных без необходимости писать код.
Apache NiFi — инструмент для маршрутизации, трансформации и интеграции данных с богатым набором процессоров (HTTP, FTP, баз данных и др.).

8 of 14

Инструменты для извлечения и передачи данных

Инструмент	Основное назначение	Особенности и преимущества	Тип задач
Apache Airflow	Оркестрация и планирование ETL/ELT процессов	DAG-модель (Directed Acyclic Graph), управление зависимостями, интеграция с BigQuery, Spark, S3	Планирование и автоматизация ETL/ELT
Talend	Платформа для ETL/ELT и интеграции данных	Поддержка множества источников, визуальный интерфейс, коммерческие модули для корпоративных систем	ETL-процессы, data migration, data quality
Informatica PowerCenter	Корпоративный ETL/ELT-инструмент	Высокая производительность, управление метаданными, аудит и безопасность	Корпоративный ETL, data warehouse загрузка

9 of 14

Тип задачи	Оптимальные инструменты	Почему именно они
Потоковая обработка (streaming)	Apache Kafka, Kafka Streams, Apache Flink	Kafka (высокая отказоустойчивость), Flink (анализ потоков на лету)
Интеграция источников данных (API, базы, файлы)	Apache NiFi, Kafka Connect, Talend	NiFi (визуально строить маршруты); Kafka Connect (без кода); Talend (для более сложных сценариев)
Пакетная загрузка и преобразование данных (ETL/ELT)	Apache Airflow, Talend, Informatica PowerCenter, Pentaho	Airflow (оркестратор ETL-пайплайнов); Talend и Informatica (промышленные ETL-платформы)
Очистка и нормализация данных	Apache NiFi, Talend Data Quality, Python (pandas)	NiFi (очистка в потоке; Talend (качество данных)
Интеграция данных в Data Lake / Data Warehouse	Airflow, Kafka, AWS Glue, Google Dataflow	Сбор из разных источников в хранилища
Мониторинг и аудит потоков данных	NiFi, Airflow, Prometheus + Grafana	NiFi (потоки и логи), Airflow (задачи), Prometheus (метрики)
Реактивные системы (реагируют на события)	Kafka, Flink, Spark Streaming	Позволяют быстро реагировать на изменения: новые заказы, клики, логи и т.д.

Теперь, чтобы немного уложить в голове такое количество инструментов, давайте рассмотрим их с точки зрения типа задачи.

Если нужно работать с потоками данных в реальном времени, например с логами, событиями от сенсоров или пользовательскими кликами — лучше всего подойдут Apache Kafka и Apache Flink. Kafka — это своего рода “конвейер сообщений”: она гарантирует доставку и масштабируемость. Flink — дополняет её возможностью анализировать поток прямо “на лету”.

Если нужно соединить разные источники данных — базы, API, файлы — удобно использовать Apache NiFi или Kafka Connect.� NiFi позволяет визуально строить маршруты, добавлять фильтры и трансформации без программирования. Kafka Connect делает то же самое, но тесно интегрируется с Kafka, что удобно для стриминговых сценариев.

Когда данные нужно загружать пакетами, например раз в час или раз в день — для этого подходят Apache Airflow, Talend и Informatica PowerCenter.� Airflow — это оркестратор, который управляет выполнением ETL-задач и позволяет настраивать зависимости между ними.� Talend и Informatica — это уже промышленные ETL-платформы с большим количеством готовых коннекторов.

Для очистки и нормализации данных можно использовать всё те же NiFi или Talend, а также Python с библиотекой pandas.� Здесь важно понимать, что качество данных напрямую влияет на качество аналитики, и именно на этом этапе устраняются ошибки, дубликаты и пропуски.

Когда данные нужно загрузить в хранилище — например, в Data Lake или Data Warehouse — хорошо подходят Airflow, Kafka, AWS Glue и Google Dataflow.� Эти инструменты умеют интегрироваться с облачными платформами и обеспечивают доставку данных из разных источников в единое место хранения.

Для мониторинга потоков данных используются NiFi и Airflow, а также связка Prometheus + Grafana, если нужно следить за метриками системы и визуализировать загрузку.

И, наконец, если мы строим реактивные системы, где важно реагировать на каждое событие — например, мгновенно фиксировать новую покупку или предупреждать о сбое — подойдут Kafka, Flink и Spark Streaming.� Эти инструменты позволяют обрабатывать данные сразу после появления, а не ждать, пока они соберутся в пакет.

То есть:

Kafka и Flink — это реальное время.
NiFi и Kafka Connect — это интеграция.
Airflow и Talend — это ETL и оркестрация.
Prometheus и Grafana — это мониторинг.�

Вместе они образуют полный цикл работы с потоками данных: от извлечения до хранения и анализа.

10 of 14

Проблемы и риски при сборе данных

Дублирование, пропуски и неконсистентность
Обработка «запоздавших» событий
Потоковые ошибки и сбои
Мониторинг и контроль качества данных
Управление схемами

Проблемы и риски при сборе данных

Дублирование, пропуски и неконсистентность — данные могут приходить с разными форматами, кодировками.
Обработка «запоздавших» событий — событие может прийти с задержкой, и как его учесть?
Потоковые ошибки и сбои — нужно обеспечить гарантию доставки (exactly-once, at-least-once).
Мониторинг и контроль качества данных — нужно отслеживать, что поток не прерывается, что данные валидны.
Управление схемами — добавление новых полей, изменение формата, backward compatibility.

11 of 14

Примеры реальных сценариев

Beeline Казахстан — таргетированная мобильная реклама на основе данных
DIS Group / Arenadata KZ — внедрение Hadoop / решения для озёр и хранилищ данных
IBA Group — сервисы Data Lake и Data Warehouse
VK Tech — облачный Lakehouse в Казахстане

Примеры реальных сценариев

Beeline Казахстан — таргетированная мобильная реклама на основе данных

Beeline собирает данные о клиентской активности, предпочтениях, местоположении и других характеристиках. На основе более чем 400 критериев они формируют сегменты и предлагают рекламные кампании, которые показываются тем, кто с большой вероятностью заинтересован — что повышает эффективность по сравнению со стандартными SMS-рассылками.

DIS Group / Arenadata KZ — внедрение Hadoop / решения для озёр и хранилищ данных

DIS Group Казахстан, как дистрибьютор Arenadata, привносит в Казахстан решения на базе Hadoop, Data Lake и Data Lakehouse. Компании используют такие решения, чтобы собирать разнообразные данные, обрабатывать большие массивы, а также вести аналитическую работу на основе этих данных.

IBA Group — сервисы Data Lake и Data Warehouse

Компания IBA Group предлагает платформы для хранения и анализа данных (Data Lake, DWH) для бизнеса, приводя в пример, что такие решения помогают приводить разнородные данные к единому формату, повышать качество аналитики, оптимизировать процессы принятия решений.

VK Tech — облачный Lakehouse в Казахстане

Проект VDP Lakehouse от VK Tech: облачная платформа больших данных, которая сочетает в себе преимущества озёр данных и хранилищ данных (Data Warehouse), позволяя компаниям снижать стоимость хранения и обработки информации, а также масштабироваться при росте нагрузки.

12 of 14

Заключение

Сбор данных - это стратегический этап: выбор подхода (batch или stream), источников и инструментов влияет на весь цикл обработки и анализа.
Источники данных могут быть разнообразными: API, сенсоры, логи, социальные сети и пр., каждый требует своих методов извлечения и нормализации.
Batch-сбор подходит, когда задержка приемлема и можно накопить данные, потоковой - для событий, требующих реакции в реальном времени.
Архитектуры ETL и ELT, а также Lambda и Kappa предоставляют разные пути организации обработки данных; каждая имеет свои плюсы и минусы.
Инструменты вроде Kafka, NiFi, облачных Data Lake / Warehouse платформ помогают реализовать сбор и хранение данных с учётом скорости, объемов и разнообразия.

Заключение

Сбор данных — это стратегический этап: выбор подхода (batch или stream), источников и инструментов влияет на весь цикл обработки и анализа.
Источники данных могут быть разнообразными: API, сенсоры, логи, социальные сети и пр., каждый требует своих методов извлечения и нормализации.
Batch-сбор подходит, когда задержка приемлема и можно накопить данные, потоковой — для событий, требующих реакции в реальном времени.
Архитектуры ETL и ELT, а также Lambda и Kappa предоставляют разные пути организации обработки данных; каждая имеет свои плюсы и минусы.
Инструменты вроде Kafka, NiFi, облачных Data Lake / Warehouse платформ помогают реализовать сбор и хранение данных с учётом скорости, объёмов и разнообразия.

13 of 14

Заключение

Без поддержки метаданных, контроля качества, схем и преобработки данные легко станут сырьем, которое сложно анализировать, или, хуже, некорректным.
Реальные кейсы из Казахстана показывают, что компании уже используют эти технологии: Beeline, Казахтелеком, DIS Group, IBA Group, VK Tech - что означает востребованность навыков работы с Big Data на локальном рынке.
Практические навыки: извлекать данные, очищать, сохранять, работать с потоками, строить аналитические системы - необходимы, чтобы создавать решения, которые реально улучшат бизнес-процессы.

Без поддержки метаданных, контроля качества, схем и преобработки данные легко станут “сырьём”, которое сложно анализировать, или, хуже, некорректным.
Реальные кейсы из Казахстана показывают, что компании уже используют эти технологии: Beeline, Казахтелеком, DIS Group, IBA Group, VK Tech — что означает востребованность навыков работы с Big Data на локальном рынке.
Практические навыки: извлекать данные, очищать, сохранять, работать с потоками, строить аналитические системы — необходимы, чтобы создавать решения, которые реально улучшат бизнес-процессы.

1 of 14

2 of 14

3 of 14

4 of 14

5 of 14

6 of 14

7 of 14

8 of 14

9 of 14

10 of 14

11 of 14

12 of 14

13 of 14

14 of 14