2 of 10

Традиционные СУБД: реляционная модель и SQL

таблицы (отношения), содержащие строки и столбцы
язык структурированных запросов (SQL)
соблюдение свойств ACID (атомарность, согласованность, изолированность и долговечность)
используются в банковских, бухгалтерских и других критически важных приложениях

1. Традиционные СУБД: реляционная модель и SQL

Реляционная модель данных, предложенная Э. Коддом в 1970 году, остается фундаментом для классических систем управления базами данных. В основе этой модели лежат таблицы (отношения), содержащие строки и столбцы. Доступ и манипуляции с данными осуществляются посредством языка структурированных запросов (SQL).

Важнейшей характеристикой реляционных СУБД является соблюдение свойств ACID (атомарность, согласованность, изолированность и долговечность). Эти свойства обеспечивают корректное выполнение транзакций, что делает реляционные базы незаменимыми в банковских, бухгалтерских и других критически важных приложениях.

3 of 10

Ограничения реляционных СУБД в условиях Big Data

Масштабируемость
Распределенность
Жесткая схема
Типы данных

2. Ограничения реляционных СУБД в условиях Big Data

Несмотря на значительные достижения в развитии реляционных систем, они сталкиваются с рядом проблем при работе с большими данными:

Масштабируемость. Классические СУБД, как правило, ориентированы на вертикальное масштабирование (усиление одного сервера), что ограничивает их возможности при росте объемов данных.

Распределенность. Выполнение транзакций и сложных запросов в распределенной среде сопряжено с высокими издержками.

Жесткая схема. Изменение структуры таблиц в крупных базах является дорогостоящим и трудоемким процессом.

Типы данных. Неструктурированные и полуструктурированные данные (тексты, изображения, логи) плохо вписываются в реляционную модель.

Таким образом, традиционные СУБД остаются эффективными для структурированных транзакционных данных, но не всегда подходят для сценариев Big Data.

4 of 10

Подходы NoSQL

Хранилища ключ-значение (Redis, Amazon DynamoDB)
Документо-ориентированные базы (MongoDB)
Колоночные базы (Apache Cassandra, HBase)
Графовые базы (Neo4j)

3. Подходы NoSQL

Термин NoSQL (Not Only SQL) обозначает класс систем управления данными, которые предлагают альтернативу реляционной модели. Основные категории NoSQL-баз включают:

Хранилища ключ–значение. Данные хранятся в виде пар «ключ–значение», обеспечивая быстрый доступ по ключу (например, Redis, Amazon DynamoDB).

Документо-ориентированные базы. Используют JSON-подобные структуры, которые позволяют хранить вложенные объекты и гибко изменять схему (например, MongoDB).

Колоночные базы. Организуют данные по столбцам, что удобно для аналитики и запросов по большим объемам информации (например, Apache Cassandra, HBase).

Графовые базы. Специализируются на представлении данных в виде узлов и связей, что позволяет эффективно решать задачи графовой аналитики (например, Neo4j).

NoSQL-системы нередко следуют принципу eventual consistency (согласованность в конечном итоге), что является компромиссом между строгой консистентностью и высокой доступностью (теорема CAP (Си-Эй-Пи) - сейчас о ней расскажу).

—----------------�

5 of 10

Теорема CAP

Теорема CAP (Си-Эй-Пи) или теорема Брюера утверждает, что любая распределенная система может одновременно обеспечить не более двух из трех свойств: Согласованность (Consistency), Доступность (Availability) и Устойчивость к разделению (Partition Tolerance). При возникновении сетевого разделения приходится выбирать между согласованностью (все узлы видят одинаковые данные) и доступностью (система отвечает на запросы, даже если данные не последние), поскольку невозможно одновременно гарантировать оба этих свойства в такой ситуации.

��Три свойства CAP:

�C (Consistency - Согласованность):

Все узлы системы одновременно видят одни и те же данные; каждый запрос к системе возвращает либо последнее записанное значение, либо ошибку.

�A (Availability - Доступность):

Каждый запрос к не отказавшему узлу системы гарантированно получает ответ, даже если данные не самые последние.

�P (Partition Tolerance - Устойчивость к разделению):

Система продолжает работать и обслуживать запросы, даже если произошел сбой связи между узлами, и система разделилась на изолированные секции.

��Почему нельзя обеспечить всё сразу:

�Теорема CAP является фундаментальным ограничением в проектировании распределенных систем. Проблема возникает, когда происходит сбой связи между узлами (разделение сети), а система одновременно пытается оставаться согласованной и доступной. В такой ситуации:

�Если мы выбираем Согласованность (CP):

Мы можем потерять доступность в одной из секций сети, так как система может отказать в ответе, чтобы не дать пользователю устаревшие данные.

�Если мы выбираем Доступность (AP):

Мы можем потерять согласованность, так как разные узлы в разделенных секциях могут отвечать разными (и потенциально устаревшими) данными.

6 of 10

Подходы на основе распределенных вычислений

Apache Hadoop (HDFS и MapReduce)
Apache Spark (RDD, DataFrame)

4. Подходы на основе распределенных вычислений

Когда данные достигают терабайтных и петабайтных масштабов, необходимы системы, обеспечивающие распределенное хранение и параллельную обработку. Наиболее значимыми решениями стали Hadoop и Spark.

Apache Hadoop. Включает распределенную файловую систему (HDFS), которая хранит данные в виде блоков с репликацией, и модель программирования MapReduce для обработки больших массивов информации.
Apache Spark. Более современная система, ориентированная на вычисления в памяти. Поддерживает различные API (RDD, DataFrame), потоковую обработку и интеграцию с ML-библиотеками. Spark часто применяется для задач реального времени и сложной аналитики.

Эти технологии позволяют горизонтально масштабировать системы, распределяя данные и вычисления по кластерам из сотен и тысяч узлов.

7 of 10

Сравнение подходов

Для транзакционных систем и структурированных данных	традиционные СУБД
Для полуструктурированных и быстро меняющихся данных	NoSQL-базы
Для аналитики на больших объемах и потоковой обработки	распределенные вычислительные фреймворки

5. Сравнение подходов

Выбор технологии зависит от характера задачи:

Для транзакционных систем и структурированных данных традиционные СУБД остаются оптимальными.
Для полуструктурированных и быстро меняющихся данных целесообразно использовать NoSQL-базы.
Для аналитики на больших объемах и потоковой обработки необходимы распределенные вычислительные фреймворки.
В современных организациях нередко применяется гибридный подход: транзакции ведутся в реляционной СУБД, а анализ больших массивов выполняется с использованием Hadoop, Spark и NoSQL-хранилищ.

8 of 10

Заключение

Традиционные реляционные СУБД эффективны для транзакционных систем и структурированных данных, обеспечивая строгие свойства ACID.
Ограничения реляционных СУБД проявляются при работе с большими объемами, высокой скоростью поступления данных и при необходимости обрабатывать полуструктурированные и неструктурированные форматы.
NoSQL-подходы предлагают гибкость, горизонтальное масштабирование и поддержку разнообразных структур данных (ключ-значение, документы, графы, столбцы). Они часто жертвуют строгой консистентностью ради производительности и доступности.

Заключение

Традиционные реляционные СУБД эффективны для транзакционных систем и структурированных данных, обеспечивая строгие свойства ACID.�

Ограничения реляционных СУБД проявляются при работе с большими объемами, высокой скоростью поступления данных и при необходимости обрабатывать полуструктурированные и неструктурированные форматы.�

NoSQL-подходы предлагают гибкость, горизонтальное масштабирование и поддержку разнообразных структур данных (ключ-значение, документы, графы, столбцы). Они часто жертвуют строгой консистентностью ради производительности и доступности.

9 of 10

Заключение

Распределенные системы обработки (Hadoop, Spark) позволяют анализировать огромные массивы информации за счет параллельных вычислений и кластерной архитектуры.
Выбор технологии всегда зависит от задачи: для транзакций - SQL, для гибких схем и больших потоков данных - NoSQL, для масштабной аналитики и машинного обучения - Hadoop и Spark.
Современные организации используют гибридный подход, сочетая СУБД, NoSQL и Big Data-фреймворки для решения разных классов задач.

Распределенные системы обработки (Hadoop, Spark) позволяют анализировать огромные массивы информации за счет параллельных вычислений и кластерной архитектуры.�

Выбор технологии всегда зависит от задачи: для транзакций — SQL, для гибких схем и больших потоков данных — NoSQL, для масштабной аналитики и машинного обучения — Hadoop и Spark.�

Современные организации используют гибридный подход, сочетая СУБД, NoSQL и Big Data-фреймворки для решения разных классов задач.

1 of 10

2 of 10

3 of 10

4 of 10

5 of 10

6 of 10

7 of 10

8 of 10

9 of 10

10 of 10