1 of 10

Основные характеристики Big Data

Лекция 2

2 of 10

Свойства 3V Big Data

Объем (Volume)
Разнообразие (Variety)
Скорость (Velocity)

Большие данные характеризуются тремя ключевыми атрибутами, известными как 3V: объем (Volume), разнообразие (Variety) и скорость (Velocity). Объем относится к количеству данных, генерируемых и хранящихся.

Разнообразие описывает различные типы данных, включая структурированные, неструктурированные и полуструктурированные данные, происходящие из множества источников и форматов. Скорость относится к скорости, с которой данные генерируются и обрабатываются, что окажет существенное влияние на принятие решений и операционные процессы.

3 of 10

Свойства 5V Big Data

Объем (Volume)
Разнообразие (Variety)
Скорость (Velocity)
Достоверность (Veracity)
Ценность (Value)

4 of 10

Свойства и особенности

Большие объемы из-за постоянного роста данных
Процесс обработки должен быть масштабируемым и способным обрабатывать данные на высоких скоростях
Разнообразие данных происходит из разных источников (соцсети, сенсоры IoT, веб-сайты)
Необходима проверка подлинности
Требуются сложные алгоритмы и инструменты

Big Data кардинально отличаются от традиционных структурированных данных. Давайте узнаем об их особенностях поближе [2]:

Большие объемы данных измеряются в терабайтах, петабайтах или даже экзабайтах. Это связано с постоянным ростом данных, генерируемых пользователями, датчиками и другими источниками.

Необходима высокая скорость обработки данных в реальном времени или с минимальными задержками.

Разнообразие поступающих данных происходит из-за того, что они загружаются с различных источников, таких как социальные сети, сенсоры Интернета Вещей и веб-сайты.

Необходима проверка подлинности данных для обеспечения целостности и точности данных, а также избежания подделки или изменения данных.

Требуются сложные алгоритмы и инструменты такие, как машинное обучение и искусственный интеллект для обнаружения и анализа сложных связей, шаблонов или трендов, так как традиционным методам это не под силу.

5 of 10

Работа с большими данными

Сбор
Хранение
Обработка
Анализ
Использование

6 of 10

Сбор больших данных: Источники

Интернет
Мобильные устройства
Датчики и сенсоры
Медицинская техника
Спутники

Интернет: глобальная сеть содержит огромный объем информации в виде сайтов, блогов, почты, чатов, видео и другого контента.

Мобильные устройства: смартфоны и планшеты генерируют данные о звонках, сообщениях, фото, видео, геолокации, использовании приложений.

Различные приборы: данные поступают от многочисленных датчиков и сенсоров, которые с высокой точностью измеряют температуру, давление, влажность, освещенность, звук и другие физические параметры.

Медицинская техника: предоставляющая данные анализов, снимков, электрокардиограмм, томографии для диагностики и лечения.

Спутники: они делают снимки и карты Земли, а также собирают данные о других космических объектах

7 of 10

Сбор больших данных: Обработка

Сбор информации:

Crawlers, Parsers, Scrapers, Collectors

Передача:

Потоковые данные (Apache Kafka, Amazon Kinesis)
Пакетные данные (Apache Avro, Parquet)

Для сбора информации со всех этих источников используются специальные программы, которые называются краулерами (crawlers), парсерами (parsers), скраперами (scrapers) или коллекторами (collectors). Эти программы способны автоматически обходить веб-страницы, извлекать нужную информацию, преобразовывать ее в нужный формат и отправлять ее в систему хранения.

Поисковые системы, такие как Google или Bing, используют краулеры для индексации содержимого интернета.

При извлечении данных важно учитывать

Тип и формат данных, потому что для каждого типа подходят свои методы сбора и обработки
Доступность данных: открытые или закрытые. Нужно соблюдать правила и ограничения на использование
Разрешение: выбирать оптимальное качество данных для анализа
Частоту и объем поступления данных: подбор подходящих протоколов и форматов передачи данных.

Учет всех этих факторов позволит максимально эффективно извлечь данные из первоисточников для дальнейшего анализа и использования. Это критически важный этап работы с big data.

8 of 10

Сбор больших данных: Хранение

NoSQL базы данных (MongoDB, Redis)
Распределенные файловые системы (HDFS, Google FS)
Облачные решения (Amazon S3, Google Cloud Storage, Azure Blob Storage)

Хранение больших объемов данных — сложная задача, требующая тщательно продуманного подхода. Традиционные реляционные базы данных не подходят для работы огромными массивами информации, поскольку не масштабируются и не отвечают требованиям по продуктивности и гибкости. Чтобы решить данную проблему, применяют специализированные системы, такие как:

NoSQL базы данных. Они используют нестандартные модели данных, оптимизированные для высокой производительности и масштабируемости. Они позволяют гибко структурировать данные и обрабатывать огромные массивы информации в режиме реального времени.

Распределенные файловые системы. Эти системы предназначены для надежного хранения информации на кластерах из сотен и тысяч серверов. Они обеспечивают высокую доступность данных за счет репликации и балансировки нагрузки.

Также для хранения Big Data активно используются облачные решения, такие как Amazon S3, Google Cloud Storage, Azure Blob Storage. Они предоставляют практически неограниченное хранилище по модели оплаты по мере использования и избавляют от необходимости закупать и обслуживать дорогостоящее оборудование.

9 of 10

Сбор больших данных: Обработка

Очистка
Интеграция
Трансформация
Редукция
Агрегация

Перед проведением анализа данных необходимо выполнить процесс подготовки данных для того, чтобы устранить шум, исправить ошибки и привести данные в удобный для анализа формат. Обработка больших данных включает в себя следующие этапы:

Очистка — удаление лишних, ошибочных или некорректных данных. Устранение дубликатов, пропусков, шумов.

Интеграция — объединение данных из разных источников в единый набор. Соединение таблиц, приведение к одному формату.

Трансформация — изменение формы или содержания данных. Происходит фильтрация, сортировка, группировка, вычисление новых значений.

Редукция — сокращение объема данных за счет удаления или сжатия избыточной информации.

Агрегация — обобщение данных путем вычисления итогов по группам. Подсчет средних, минимумов, максимумов, сумм.

Для реализации этих этапов применяются специальные технологии и инструменты: Hadoop, Spark, Hive и Pig, а также параллельные вычисления, распределенные вычисления, потоковая обработка, облачные вычисления и другие технологии.

10 of 10

Основные характеристики Big Data

Лекция 2