1 of 25

2 of 25

Привет! Это первое занятие в курсе EDA

3 of 25

Георгий Милютин

Два слова о себе

Где преподавал или преподаю в режиме лекций:

London Gates (математика и статистика на англ.)

ЕУСПб + Яндекс: программа “Пандан” (введение в статистику)

НИУ ИТМО (базовая статистика на кафедре КТ)

ВШМ СПбГУ (мастер-классы для data-driven MBA)

ТГУ (вебинары для магистратуры)

MathsHub :)

Публичные лекции можно посмотреть тут: http://bit.ly/george_talks �или тут еще одна: https://okko.tv/serial/science-bar-hopping/season/1/episode/6

4 of 25

Что будет на курсе

  • Типы переменных.�Меры локации и разброса набора данных: два подхода.
  • Зависимость двух переменных.�Несколько типов корреляции, регрессия.
  • Работа с данными в python: фильтрация, классификация, агрегирование, визуализация. Работа с пропусками.
  • Работа с большими данными: как ускорить обработку; что делать если pandas долго обрабатывает данные или вообще�не справляется.

Д/з раз в неделю после практик.�Проект командный и скорее самостоятельный :)

5 of 25

Сегодня в программе

  • краткая история стохастического подхода�(краткая вводная к этому курсу и курсу по статистике)
  • типы переменных
  • алгебраические и структурные меры локации (центра)�набора данных
  • структурные меры разброса и box-plot
  • алгебраические меры разброса (дисперсия и ст.отклонение)

  • столбиковая диаграмма vs гистограмма. Плотность частоты

6 of 25

Сегодня в программе

  • краткая история стохастического подхода�(краткая вводная к этому курсу и курсу по статистике)
  • типы переменных
  • алгебраические и структурные меры локации (центра)�набора данных
  • структурные меры разброса и box-plot
  • алгебраические меры разброса (дисперсия и ст.отклонение)

  • столбиковая диаграмма vs гистограмма. Плотность частоты
  • разбираем с нуля
  • много делаем руками

7 of 25

В каком веке появилась современная наука?

8 of 25

9 of 25

Случайность исследуется тоже примерно с XVI-XVII в.:

10 of 25

Случайность

Случайность – недостаток предсказуемости.

Хотя конкретные исходы эксперимента могут быть полностью непредсказуемыми, суммарный результат многих экспериментов зачастую поддаётся прогнозу.

Свобода воли тесно связана со случайностью.

Поведение конкретного человека в конкретной ситуации может быть непредсказуемым, но поведение многих в похожих ситуациях иногда поддаётся прогнозу.

С людьми всё не так просто, как с молекулами…

Что такое случайность?

11 of 25

Случайность

Случайность – недостаток предсказуемости.

Хотя конкретные исходы эксперимента могут быть полностью непредсказуемыми, суммарный результат многих экспериментов зачастую поддаётся прогнозу.

Свобода воли тесно связана со случайностью.

Поведение конкретного человека в конкретной ситуации может быть непредсказуемым, но поведение многих в похожих ситуациях иногда поддаётся прогнозу.

С людьми всё не так просто, как с молекулами…

12 of 25

До конца XIX - начала XX в. наука строго детерминистична.

Потом пришёл он и объяснил, что случайность может рождать закономерность. Кто он?

13 of 25

До конца XIX - начала XX в. наука строго детерминистична.

Потом пришёл он и объяснил, что случайность может рождать закономерность. Кто он?

Дарвин!

14 of 25

До конца XIX - начала XX в. наука строго детерминистична.

Потом пришёл он и объяснил, что случайность может рождать закономерность. Кто он?

Дарвин и его не менее знаменитый�двоюродный брат Гальтон

15 of 25

Один из отцов статистики (от state)�Автор трактата “Средний человек”. Придумал индекс массы тела.

Если всё усредняется – не остаётся места свободе воли: всё можно предсказать.

16 of 25

– привет!

Один из отцов статистики (от state)�Автор трактата “Средний человек”. Придумал индекс массы тела.

Если всё усредняется – не остаётся места свободе воли: всё можно предсказать.

17 of 25

18 of 25

Второй эмпирический взрыв: стык XX и XXI веков.�Big data, неожиданные распределения.

не очень типичная для классических методов

19 of 25

Попперовский мир культуры – наравне с физическим и платоновским миром идей.

Онтология социального не сводится к физике (res cogita vs res extensa → mind-body problem).�

Статистика остаётся единственной легитимной математикой для описания социального�в силу своей полидетерминистичности.

20 of 25

Вариант принятой в русскоязычной литературе классификации:

В англоязычной литературе принята чуть другая классификация.

21 of 25

Формула дисперсии: всегда ли разницы компенсируются?

Сумма девиат равна нулю, если датасет симметричный.

А если нет?

22 of 25

Всегда ли разницы компенсируются?

Сумма девиат равна нулю, если датасет симметричный.

А если нет, тоже всегда равна:

23 of 25

Всегда ли разницы компенсируются?

Сумма девиат всегда равна нулю:

Пример: набор данных {3,4,8}. Среднее равно 5.

Сумма девиат: (3-5)+(4-5)+(8-5) = -2-1+3 = 0

24 of 25

Записи с доски:

25 of 25

Увидимся!

MathsHub <3