1 of 27

Николай Валиотти

CEO, Valiotti Analytics

Data Science — �великий и ужасный;

|

куча рекламы наших проектов

следите за qr-кодами

2 of 27

2

Что такое Data Science?

ChatGPT

3 of 27

3

Николай Валиотти

спикер

27К подписчиков

более 800 постов

LEFT JOIN

Обо мне

4 of 27

4

Valiotti Analytics

24

сотрудника

35+

проектов

1К ТБ

обработанных данных

  • Аналитический инжиниринг
  • Автоматизация отчетности
  • Визуализация данных
  • Аудит и консультирование
  • Продвинутая аналитика

Наши клиенты:

5 of 27

5

Немного истории

1989

Data miningметоды обнаружения в данных ранее неизвестных,

но практически полезных знаний

2006

появление феномена Big Data, расцвет аналитики данных как индустрии

2012

появление колоночных аналитических баз данных Redshift, BigQuery

2019

создание �Valiotti Analytics

*Business Intelligence

6 of 27

6

Аналитика данных �и Data Science

Аналитика данных:

позволяет компании трансформировать имеющиеся данные в наглядные визуализации и отчеты, на основе которых можно принимать решения, и получить те самые инсайты, которые станут конкурентными преимуществами бизнеса.

Data Science:

наука о данных, объединяет в себе математику �и программирование, чтобы вычленить из данных сокрытое и найти неизвестные ранее закономерности, используя алгоритмы, модели и машинное обучение

data science �в 2023

7 of 27

7

Профессии в сфере аналитики, инжиниринга и науки о данных

  • Архитекторы и проектировщики
  • Инженеры и строители
  • Собственники и арендаторы помещений

Для начала, давайте изучим подходящую аналогию

  • Архитекторы данных
  • Инженеры данных
  • Аналитики данных и специалисты по данным и машинному обучению

8 of 27

8

Data architect – архитектор данных

  • отвечает за планирование архитектуры — системы правил, политик, стандартов и моделей сбора, использования и хранения информации (базы, озера и хранилища данных);
  • необходим для проектов с большими данными;
  • обеспечивает безопасность хранения данных.

это data архитектор

9 of 27

9

Refocus, академия �из Филиппин для �IT-специалистов

10 of 27

10

Data engineer – инженер данных

  • собирает и обрабатывает данные из разных источников и взаимодействует с их API;
  • поддерживает и обновляет хранилище данных и пайплайны (методы отслеживания клиентов на пути к покупке);
  • владеет технологиями: Java, Scala, SQL, noSQL, Python, R.

это data engineer

11 of 27

11

Refocus, академия из Филиппин для IT-специалистов

12 of 27

12

Data analyst – аналитик данных

  • анализирует данные и составляет отчеты;
  • знает математику и математическую статистику;
  • владеет методами предварительной обработки данных для анализа;
  • работает в BI-инструментах (Tableau, PowerBI, Metabase, Mode, Redash, Superset).

это data аналитик

13 of 27

13

Дашборд �молодого родителя

Режим сна ребенка, памперсная статистика, число кормлений

когда твой отец – аналитик

изучить дашборд

14 of 27

14

Задача: собрать в одном чате людей, находящихся на Кипре и интересующихся данными

чаты Кипра

скрипт для сбора информации об участниках

регулярные выражения

рассылка сообщений

первые 107 участников

Бесплатный чат

390 участников

Нетворкинг и развитие

Сообщество Cyprus Data

15 of 27

15

Wing, оператор связи из США

16 of 27

16

Бесплатный курс по аналитике данных �для начинающих от Valiotti Analytics

Время прохождения курса ~10-15 часов

★ 4,9 Stepik

3034 учащихся

87 отзывов

присоединяйтесь

Data Марафон

17 of 27

17

Data Scientist – специалист по данным

  • проводит исследования в выборках данных, ставит эксперименты, изучает тренды, закономерности и тестирует гипотезы;
  • строит прогнозы, разбивает информацию на сегменты и определяет связи между объектами в этих группах;
  • оценивает A/Б-тесты, строит модели и алгоритмы для моделирования задач;
  • владеет аппаратом статистического анализа и теорией вероятностей.

это data scientist

18 of 27

18

NLP* проект для крупного американского производителя продуктов питания, напитков и кормов для животных

*Обработка естественного языка

19 of 27

19

Подкаст Data Heroes

  • обучение Data Science в Европе и Америке
  • Data Science в науке и бизнесе
  • ошибки и лайфхаки A/Б тестирования

2 сезона

16 эпизодов

777 на Yandex Music

присоединяйтесь

20 of 27

20

Machine Learning �Engineer (ML) – инженер машинного обучения

  • использует искусственный интеллект в целях бизнеса;
  • проектирует, разрабатывает и тестирует ML-системы;
  • создает и обучает нейросети;
  • знает статистику и математику на высоком уровне;
  • знает основные методы машинного обучения и применяет их на практике;
  • владеет Java, Python, Scala, С++, ML-фреймворками TensorFlow, Keras, Hadoop.

это machine learning

engineer

21 of 27

21

Кто еще есть?

Analytics Engineer

BI Developer

Database administrator (DBA)

Data Project Manager

инженер-аналитик

BI-разработчик

администратор баз данных

менеджер проекта, связанного �с данными

AMA-сессии

Своя Redash-песочница

Подробные how-to статьи

Сообщество для профессионалов FULL JOIN

присоединяйтесь

22 of 27

22

Тренды 2023

Для начала рассмотрим профессии, которые станут повсеместными явлениями в текущем году

DataOps

IT-специалист в сфере дата-инжиниринга, который обеспечивает стабильную поставку больших данных другим разработчиками для последующего анализа

23 of 27

23

ML research and development engineer

исследователь и разработчик машинного обучения

MLOps

помогает бизнесу развивать Data Science �и внедрять качественные ML модели на 80% быстрее

ML Fine-Tune Specialist

донастраивает уже готовые генеративные модели на основе нового набора данных.

Бум ML

//актуальные профессии 2023 года

24 of 27

24

ChatGPT, который появился в ноябре 2022 года, станет повседневным рабочим инструментом. С его помощью мы можем сформировать запрос для AI и получить готовый результат.

Сегодня все в облаке. Затраты на облако растут, появляется FinOps – оптимизация облачного хранения. В целом, выбор решений становится сложнее, так как размерность данных растет, а хочется получать информацию быстро.

Что мы можем ожидать �в сфере данных в 2023 году?

25 of 27

25

Компании начнут держать весь объем оперативных сырых данных в дорогостоящем краткосрочном хранилище, а уже обработанные данные, необходимые для длительного пользования, в дешевом долгосрочном хранилище.

Prompt Engineering, концепция в обработке естественного языка, станет актуальной методикой работы с моделями как для генерации текста, так и изображений (DALL-E, Stable Diffusion и Midjourney).

//что мы можем ожидать в сфере данных в 2023 году?

Computer vision*: Компания Mashgin из США разработала продукт на основе computer vision для идентификации товара на кассе, что позволило ритейлеру, интегрировавшему систему, увеличить количество транзакций на 34%.

*Компьютерное зрение

26 of 27

26

//что мы можем ожидать в сфере данных в 2023 году?

Computer vision + Deep Learning могут определять любимые цвета клиента в одежде, какие посетители посещают магазин в разное время суток, насколько эффективна схема выкладки и где на полках надо доложить товар.

Благодаря релоцировавшимся в 2022 г. и продолжающим переезжать на Кипр специалистам и компаниям из России, Кипр ожидает настоящий бум в сфере IT и аналитике данных.

27 of 27

27

Спасибо за внимание!

Увидимся в Telegram!

Канал LEFT JOIN

Cyprus Data

Сообщество для профессионалов FULL JOIN

Сайт Valiotti Analytics