Числовые представления текстовых данных
В предыдущих сериях…
Картинки состоят из пикселей
Источники картинок:�https://kartinkin.net/32094-piksel-art-cherno-belyj.html
= 0
= 255
= 100
= 200
Данные
Ядро свертки
Выходные данные
Гауссово размытие
Гауссово размытие (сильнее)
«Четкость»
Поиск краев
Ядра (фильтры)
Результат
11
22
33
11
22
33
11
22
33
Основные типы задач в компьютерном зрении
Классификация
Детекцирование
Семантическая сегментация
Сегментация�(Instance segmentation)
Разберемся с основными понятиями
1
1
0
2
Скаляр
Вектор на плоскости
1
[-2,3]
Скаляр
Вектор
[-2,3]
-2
3
Вектор в 3D
1
[1,2,3]
Скаляр
Вектор
1
[1,2,3]
[1,2,3],
[4,5,6],
[7,8,9]
Скаляр
Вектор
Матрица
Сложение векторов
[1,2,3]
Вектор
Умножение вектора на скаляр
[1,2,3]
Вектор
2
Можем их сравнивать
[1,2,3]
Вектор
x0
x1
x2
Линейный слой (линейная модель)
А как преобразовать текст в числа?
Оценка тональности отзыва на фильм
Фильм отличный, я в восторге!
Ужасное кино, зря потратил время.
Фильм так себе, можно посмотреть, но не шедевр.
Оценка тональности отзыва на фильм
Отзыв | Тональность |
Фильм отличный, я в восторге! | |
Ужасное кино, зря потратил время. | |
Фильм так себе, можно посмотреть, но не шедевр. | |
Оценка тональности отзыва на фильм
Отзыв | Тональность |
Фильм отличный, я в восторге! | 2 |
Ужасное кино, зря потратил время. | 0 |
Фильм так себе, можно посмотреть, но не шедевр. | 1 |
Фильм отличный, я в восторге! |
Ужасное кино, зря потратил время. |
Фильм так себе, можно посмотреть, но не шедевр. |
Фильм отличный, я в восторге! |
Ужасное кино, зря потратил время. |
Фильм так себе, можно посмотреть, но не шедевр. |
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Потратил:
Время:
Так:
Себе:
…
0
1
2
3
4
5
6
7
8
9
10
…
[0 1 2 3 4] |
[5 6 7 8 9] |
Фильм так себе, можно посмотреть, но не шедевр. |
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
0
1
2
3
4
5
6
7
8
9
10
11
…
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
0
1
2
3
4
5
6
7
8
9
10
11
…
4 + 5 = 9
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
0
1
2
3
4
5
6
7
8
9
10
11
…
4 + 5 = 9
Восторге + Ужасное = Время
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
0
1
2
3
4
5
6
7
8
9
10
11
…
4 + 5 = 9
Восторге + Ужасное = Время
Кино - Я = Восторге
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
[1 0 0 0 0 0 0 0 0 0 0 … ]
One-hot-encoding:
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
One-hot-encoding:
[1 0 0 0 0 0 0 0 0 0 0 … ]
[0 1 0 0 0 0 0 0 0 0 0 … ]
[0 0 1 0 0 0 0 0 0 0 0 … ]
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
One-hot-encoding:
[1 0 0 0 0 0 0 0 0 0 0 … ]
[0 1 0 0 0 0 0 0 0 0 0 … ]
[0 0 1 0 0 0 0 0 0 0 0 … ]
Много слов = большой словарь
Фильм:
Отличный:
Я:
В:
Восторге:
Ужасное:
Кино:
Зря:
Потратил:
Время:
Так:
Себе:
…
One-hot-encoding:
[1 0 0 0 0 0 0 0 0 0 0 … ]
[0 1 0 0 0 0 0 0 0 0 0 … ]
[0 0 1 0 0 0 0 0 0 0 0 … ]
Много слов = большой словарь
“Ужасное” в отрицательных отзывах важнее чем “Фильм”
Bag of words
Фильм отличный |
Ужасное кино, зря потратил время |
Фильм так себе |
Bag of words
Словарь: [фильм, отличный, ужасное, зря, восторге, время ….]
Фильм отличный |
Ужасное кино, зря потратил время |
Фильм так себе |
Bag of words
Отзыв | фильм | отличный | ужасное | зря | восторге | время |
Фильм отличный | | | | | | |
Ужасное кино, зря потратил время | | | | | | |
Фильм так себе | | | | | | |
Словарь: [фильм, отличный, ужасное, зря, восторге, время ….]
Bag of words
Отзыв | фильм | отличный | ужасное | зря | восторге | время |
Фильм отличный | 1 | 1 | 0 | 0 | 0 | 0 |
Ужасное кино, зря потратил время | | | | | | |
Фильм так себе | | | | | | |
Словарь: [фильм, отличный, ужасное, зря, восторге, время ….]
Bag of words
Отзыв | фильм | отличный | ужасное | зря | восторге | время |
Фильм отличный | 1 | 1 | 0 | 0 | 0 | 0 |
Ужасное кино, зря потратил время | 0 | 0 | 1 | 1 | 0 | 1 |
Фильм так себе | 1 | 0 | 0 | 0 | 0 | 0 |
Словарь: [фильм, отличный, ужасное, зря, восторге, время ….]
Bag of words
Отзыв | фильм | отличный | ужасное | зря | восторге | время |
Фильм отличный | 1 | 1 | 0 | 0 | 0 | 0 |
Ужасное кино, зря потратил время | 0 | 0 | 1 | 1 | 0 | 1 |
Фильм так себе | 1 | 0 | 0 | 0 | 0 | 0 |
Не учитывает порядок слов
Bag of words
Отзыв | фильм | отличный | ужасное | зря | восторге | время |
Фильм отличный | 1 | 1 | 0 | 0 | 0 | 0 |
Ужасное кино, зря потратил время | 0 | 0 | 1 | 1 | 0 | 1 |
Фильм так себе | 1 | 0 | 0 | 0 | 0 | 0 |
Не учитывает порядок слов
Не учитывает контекст
Собака __ на стуле
Кошка __ на диване
Данные
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит�Лежит
Класс:
1
2
3
4
5
6
7
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
One-hot-encoding:
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
One-hot-encoding:
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
1
0
One-hot-encoding:
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
[1,0,0,0,0,0,0]
[0,1,0,0,0,0,0]
[0,0,1,0,0,0,0]
[0,0,0,1,0,0,0]
[0,0,0,0,1,0,0]
[0,0,0,0,0,1,0]�[0,0,0,0,0,0,1]�
One-hot-encoding:
вектор
Собака __ на стуле
Кошка __ на диване
сидит
лежит
Данные
Предсказание
[1,0,0,0,0,0,0], ______________, [0,1,0,0,0,0,0], [0,0,1,0,0,0,0]
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
Собака , ______________, на , стуле
[1,0,0,0,0,0,0]
[0,1,0,0,0,0,0]
[0,0,1,0,0,0,0]
[0,0,0,1,0,0,0]
[0,0,0,0,1,0,0]
[0,0,0,0,0,1,0]�[0,0,0,0,0,0,1]�
One-hot-encoding:
Кошка __ на диване
сидит
лежит
[0,0,0,1,0,0,0], ____________, [0,1,0,0,0,0,0], [0,0,0,0,1,0,0]
Кошка , ___________ , на , диване
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
1,0,0,0,0,0,0�___________
0,1,0,0,0,0,0
0,0,1,0,0,0,0
[1,0,0,0,0,0,0]
[0,1,0,0,0,0,0]
[0,0,1,0,0,0,0]
[0,0,0,1,0,0,0]
[0,0,0,0,1,0,0]
[0,0,0,0,0,1,0]�[0,0,0,0,0,0,1]�
One-hot-encoding:
Предсказание
Словарь:
Собака
На
Стул
Кошка
Диван
Сидит
Лежит
[0,0,0,1,0,0,0], ____________, [0,1,0,0,0,0,0], [0,0,0,0,1,0,0]
Кошка , ___________ , на , диване
1,0,0,0,0,0,0�___________
0,1,0,0,0,0,0
0,0,1,0,0,0,0
0,0,0,1,0,0,0�___________
0,1,0,0,0,0,0
0,0,0,0,1,0,0
[1,0,0,0,0,0,0]
[0,1,0,0,0,0,0]
[0,0,1,0,0,0,0]
[0,0,0,1,0,0,0]
[0,0,0,0,1,0,0]
[0,0,0,0,0,1,0]�[0,0,0,0,0,0,1]�
One-hot-encoding:
Машинное обучение это сложно и весело
Рассмотрим пример
Машинное обучение это сложно и весело
Машинное _ это
Данные:
Машинное обучение это сложно и весело
Машинное _ это
Обучение _ сложно
Данные:
Машинное обучение это сложно и весело
Машинное _ это
обучение _ сложно
это _ и
Данные:
Машинное обучение это сложно и весело
Машинное _ это
обучение _ сложно
это _ и
Сложно _ весело
Данные:
Машинное обучение это сложно и весело
Машинное _ это
обучение _ сложно
это _ и
сложно _ весело
Данные:
Словарь:
Машинное [1,0,0,0,0,0]
Обучение [0,1,0,0,0,0]
Это [0,0,1,0,0,0]
Сложно [0,0,0,1,0,0]
И [0,0,0,0,1,0]
Весело [0,0,0,0,0,1]
[1,0,0,0,0,0] [0,1,0,0,0,0] [0,0,1,0,0,0] [0,0,0,1,0,0] [0,0,0,0,1,0] [0,0,0,0,0,1]
Данные:
Машинное _ это
обучение _ сложно
это _ и
сложно _ весело
Машинное _ это
обучение _ сложно
это _ и
сложно _ весело
Данные:
Предсказание:
Обучение
Это
Сложно
И
Вход | Выход |
Машинное | Обучение |
это | Обучение |
обучение | Это |
сложно | Это |
это | сложно |
И | сложно |
Машинное _ это
обучение _ сложно
это _ и
Обучение
Это
Сложно
Данные:
Машинное _
Данные:
Машинное _
Сложно
Предсказание:
Данные:
Машинное _
Сложно
Предсказание:
Обучение
Данные:
Машинное _
Сложно
Предсказание:
Обучение
Обучение
Данные:
Машинное _
0.2 Обучение
0.1 Это
0.6 Сложно
0.1 И
Предсказание:
Данные:
Машинное _
0.2 Обучение
0.1 Это
0.6 Сложно
0.1 И
Предсказание:
Данные:
Машинное _
0.5 Обучение
0.3 Это
0.1 Сложно
0.1 И
Предсказание:
Данные:
Предсказание:
Машинное _
обучение _
это _
сложно _
Обучение
Это
Сложно
И
Король
Слово:
Король
Слово:
word2vec
Король
Слово:
[2.1,1.9,2.1,...,1.2,1.1,2.2]
2.1
1.9
2.1
1.2
1.1
WORD
[2,1,3,1,1]
word2vec
Король
Слово:
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Как можно интерпретировать эти цифры?
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Допустим, у нас есть кандидат на вакансию, и мы хотим что-то о ней узнать
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Мы можем оценить ее инициативность
3
-3
инициативная
безинициативная
Признак #1
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Мы можем оценить ее инициативность
3
-3
инициативная
безинициативная
Признак #1
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Или внимательность
3
-3
инициативная
безинициативная
Признак #1
3
-3
внимательная
невнимательная
Признак #2
[2.1,1.9,2.1,...,1.2,1.1,2.2]
То есть эти цифры можно рассматривать в качестве описывающих признаков
Король
Слово:
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Эмбеддинг слова
Король
Слово:
[2.1,1.9,2.1,...,1.2,1.1,2.2]
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Размерность N
x
y
Размерность 2
Король
Слово:
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Король
[2.1,1.9,2.1,...,1.2,1.1,2.2]
Размерность N
x
y
Размерность 2
Мужчина
Слово:
Король
Мужчина
Слово:
[1.9,1.7,2.0,...,2.1,1.3,1.2]
Король
Мужчина
Женщина
Слово:
Король
Мужчина
Женщина
[1.9,1.7,2.0,...,2.1,1.3,1.2]
Король
Мужчина
Женщина
[2.1,...,2.2]
Король
[1.9,...,1.2]
Мужчина
-
[1.1,...,2.2]
Женщина
+
=
Король
Мужчина
Королева
Женщина
[2.1,...,2.2]
Король
[1.9,...,1.2]
Мужчина
=
[1.1,...,2.2]
Женщина
[0.2,0.2,0.1,...,-0.9,-0.2.,1.]
Королева
-
+
King to man as queen to woman
Король
Мужчина
Королева
Женщина
Король
Мужчина
Королева
Женщина
King
Man
Queen
Woman
Король
Мужчина
Королева
Женщина
King
Man
Queen
Woman
Mikolov, Tomas, Quoc V. Le, and Ilya Sutskever. "Exploiting similarities among languages for machine translation." arXiv preprint arXiv:1309.4168 (2013).
Новая парадигма для машинного перевода
Но что нам мешает делать эмбеддинги чего-то кроме слов?
Эмбеддинги эмодзи
[1.9,1.7,2.0,...,2.1,1.3,1.2]
Schneider, Steffen, et al. "wav2vec: Unsupervised pre-training for speech recognition." arXiv preprint arXiv:1904.05862 (2019).
wav2vec
Машинное обучение это сложно и весело
Словарь:
Машинное [1,0,0,0,0,0]
Обучение [0,1,0,0,0,0]
Это [0,0,1,0,0,0]
Сложно [0,0,0,1,0,0]
И [0,0,0,0,1,0]
Весело [0,0,0,0,0,1]
С этим подходом есть проблемы
Машинное обучение это сложно и весело
Словарь:
Машинное [1,0,0,0,0,0]
Обучение [0,1,0,0,0,0]
Это [0,0,1,0,0,0]
Сложно [0,0,0,1,0,0]
И [0,0,0,0,1,0]
Весело [0,0,0,0,0,1]
Кошка
Машинное обучение это сложно и весело
Словарь:
Машинное [1,0,0,0,0,0]
Обучение [0,1,0,0,0,0]
Это [0,0,1,0,0,0]
Сложно [0,0,0,1,0,0]
И [0,0,0,0,1,0]
Весело [0,0,0,0,0,1]
Кошка ???????????????
Кошка
???
Машинное обучение это сложно и весело
Словарь:
Машинное [1,0,0,0,0,0]
Обучение [0,1,0,0,0,0]
Это [0,0,1,0,0,0]
Сложно [0,0,0,1,0,0]
И [0,0,0,0,1,0]
Весело [0,0,0,0,0,1]
Кошка ???????????????
Кошка
???
Если слово отсутствует в словаре (который составляется из всех слов в обучающей выборке),— то для него нельзя сделать эмбеддинг
Jaeger, Sabrina, Simone Fulle, and Samo Turk. "Mol2vec: unsupervised machine learning approach with chemical intuition." Journal of chemical information and modeling 58.1 (2018): 27-35.
mol2vec
Эмбеддинги выявляют кластеры генов с тканевой специфичностью. Кровь и селезенка имеют четкие паттерны тканеспецифических генов. В репродуктивной системе (например, в яичнике) также обнаружены гены, отличающиеся от других. Гены, недоступные в данных GTEx, окрашены в серый цвет
Du, Jingcheng, et al. "Gene2vec: distributed representation of genes based on co-expression." BMC genomics 20.1 (2019): 7-15.
gene2vec
Kozlowski, Austin C., Matt Taddy, and James A. Evans. "The geometry of culture: Analyzing the meanings of class through word embeddings." American Sociological Review 84.5 (2019): 905-949.
Геометрия культуры
Составные стереотипные гендерные предубеждения, измеренные с течением времени. Каждая точка данных представляет собой среднее значение абсолютных значений гендерных предубеждений мужчин по четырем областям: семья, карьера, наука и искусство.
Jones, Jason J., et al. "Stereotypical gender associations in language have decreased over time." Sociological Science 7 (2020): 1-35.
Стереотипы
Garg, Nikhil, et al. "Word embeddings quantify 100 years of gender and ethnic stereotypes." Proceedings of the National Academy of Sciences 115.16 (2018): E3635-E3644.
Еще стереотипы
Rheault, Ludovic, and Christopher Cochrane. "Word embeddings for the analysis of ideological placement in parliamentary corpora." Political Analysis 28.1 (2020): 112-133.
Идеалогия в парламенте
Интерсекциональность - это аналитическая основа для понимания того, как аспекты социальной и политической идентичности человека в совокупности создают различные формы дискриминации и привилегий.
Источники картинок:�https://www.film.ru/movies/zagadochnaya-istoriya-bendzhamina-battona
1 3 5 7 …
Последовательности
1 3 5 7 9 …
Акции Tesla
Источники картинок:�https://invest.yandex.ru/catalog/stock/tsla
График акции
20:11
Аудио
Источники картинок:�https://www.pdf-note.ru/other/piraty-karibskogo-morya-pirates-of-the-caribbean.html
Музыка
Я опять тебе подсунул ровно то, что ты хотел
Прям тогда, когда хотел, — свежим ветром в духоте
Через форточку в башке прошелестел и улетел
Гоняя бабочек в твоём вечно голодном животе
И. Алексеев
Текст
И даже изображения
…
При желании, что угодно можно представить в виде последовательности
1 3 5 7 9 …
20:11
Последовательности
1D
0
1
0
-1
0
1
1D
0
1
-1
0
1
0
0
1
0
1
2
1
1
2
1
1D
0
1
-1
0
1
0
0
1
0
0
2
0
2
=
2
1
2
1
1
2
1
1D
0
1
0
1
0
1
0
-1
1
0
-1
0
=
2
-1
0
1
2
1
1
2
1
1D
0
1
1
0
0
-1
0
0
-2
0
-2
=
2
-1
0
0
-2
1
2
1
1
2
1
1D
0
1
1
0
-1
0
1
-1
0
1
0
=
2
-1
0
0
-2
0
1
2
1
1
2
1
1D
0
1
1
0
-1
0
1
0
-1
0
1
2
1
1
2
1
2
0
-2
0
-1
0
1
=
По сути эта информация уже не релевантна для сети.
1D
0
1
1
0
-1
0
1
0
-1
0
1
2
1
1
2
1
-1
0
1
=
Но если бы это был, например, график акций, то эту информацию хорошо бы учитывать
1D
0
1
1
0
-1
0
1
0
-1
0
1
2
1
1
2
1
-1
0
1
=
Но если бы это был, например, график акций, то эту информацию хорошо бы учитывать
Что можно сделать?
Через форточку в башке
Рассмотрим пример:
Через форточку в башке
ВОПРОС: где форточка?
Через форточку в башке
x0
x0
Через форточку в башке
A
x0
x0
Через форточку в башке
A
X
1
2
1
3
...
b
Баес (смещние)
Веса
Данные
Нейрон!
w0
w1
w2
w3
x0
x0
Через форточку в башке
A
h0
x0
x0
Получили состояние (state) сети
(его еще называют скрытым состоянием - hidden state).
Никакой магии, просто вектор
Через форточку в башке
A
h0
x1
x0
x0
x1
A
h0
A
x1
x0
Через форточку в башке
x0
x1
A
h0
A
x1
x0
Через форточку в башке
x0
x1
Память о прошлом
A
h0
A
x1
x0
Через форточку в башке
x0
x1
A
h0
A
h1
x1
x0
Через форточку в башке
x0
x1
A
h0
A
h1
x1
A
x2
x0
Через форточку в башке
x0
x1
x2
A
h0
A
h1
x1
A
h2
x2
x0
Через форточку в башке
x0
x1
x2
A
h0
A
h1
x1
A
h2
x2
A
h3
x3
x0
Через форточку в башке
x0
x1
x2
x3
A
h0
A
h1
x1
A
h2
x2
A
h3
x3
x0
Через форточку в башке
x0
x1
x2
x3
A
h0
A
h1
x1
A
h2
x2
A
h3
x3
x0
Через форточку в башке
x0
x1
x2
x3
A
xt
=
ht
A
h0
A
h1
x1
A
h2
x2
A
h3
x3
A
xt
=
x0
Через форточку в башке
x0
x1
x2
x3
Рекуррентная нейронная сеть
(Recurrent Neural Network - RNN)
ht
A
h0
A
h1
x1
A
h2
x2
A
h3
x3
x0
Через форточку в башке
x0
x1
x2
x3
ВОПРОС: где форточка?
A
h0
A
h1
x1
A
h2
x2
A
y
x3
x0
Через форточку в башке
x0
x1
x2
x3
ОТВЕТ: в башке
Many to one
(примеры: семантическая классификация, оценка эмоции и т.д.)
Что-то я устал. Негативная эмоция
Конфигурации RNN
Many to many
(примеры: понимание текста, машинный перевод)
I would like to see the baby. Мне бы хотелось увидеть ребенка
Конфигурации RNN
One to many
(примеры: генерация музыки, генерация текста)
*Звуки нейромузыки*
Конфигурации RNN
Потрясающе! У нас появилась еще одна суперспособность для науки!
Many to many. Text-to-Speech (TTS)
?
Speech-to-text (STT)
Many to many. Forecasting
One to Many. Musics generation
Основанна на ImprovRNN
А можно и порисовать (Sketch RNN)
А можно совместить CNN и RNN.
Что с их помощью можно будет сделать?
CNN + RNN = Image Captioning
Картинка
Март 2020
Март 2021
Март 2022
Сверточная сеть
Картинка
Март 2020
Март 2021
Март 2022
Сверточная сеть
MLP
Картинка
Март 2020
Март 2021
Март 2022
Сверточная сеть
MLP
Картинка
Рекуррентная сеть
Март 2020
Март 2021
Март 2022
Сверточная сеть
MLP
Картинка
«Влияние пандемии на здоровье населения»
Март 2020
Март 2021
Март 2022
Рекуррентная сеть
К этому моменту стоит задуматься: а что происходит с весами в длинных последовательностях?
Правильно, с ними все довольно грустно
A
A
A
A
A
A
A
A
0.9
A
A
A
A
A
A
A
A
0.9
A
A
A
A
A
A
A
A
0.9
0.6
A
A
A
A
A
A
A
A
0.9
0.6
0.3
A
A
A
A
A
A
A
A
0.9
0.6
0.3
0.1
0.0
0.0
0.0
0.0
Проблема затухающего градиента (vanishing gradient)
A
A
A
A
A
A
A
A
0.9
0.6
0.3
0.1
0.0
0.0
0.0
0.0
Проблема затухающего градиента (vanishing gradient)
A
A
A
A
A
A
A
A
A
h0
A
h1
x1
A
h3
xn
x0
x0
xn
………………………..
…
Можно ли что-то сделать?
A
h0
A
h1
x1
A
h3
xn
x0
x0
xn
………………………..
…
А что если последовательность очень длинная?
A
h0
A
h1
x1
A
h3
xn
x0
x0
xn
………………………..
…
Такие сети называются Bidirectional RNN (BiRNN)
A
A
A
A
A
A
A
A
1.1
По аналогии, что еще может произойти?
A
A
A
A
A
A
A
A
1.1
Проблема взрывающегося градиента (exploding gradient)
11
111
1111
1e5
1e10
1e20
1e99
Рекуррентная нейронная сеть
(Recurrent Neural Network - RNN)
По сути мы придумали кратковременную память
(в первую очередь мы учитываем ближайшее прошлое).
Но вспомните что-нибудь из школы?
A
xt
ht
Рекуррентная нейронная сеть
(Recurrent Neural Network - RNN)
А что если у нас будет еще и долговременная память?
A
h
xt
Долговременная память
Кратковременная память
с
ht
Long-Short Term Memory
(LSTM)
Теперь мы можем учитывать долгосрочный контекст. Например, главу в книге
A
h
xt
Долговременная память
Кратковременная память
с
ht
Long-Short Term Memory
(LSTM)
Но мы же не можем помнить
«бесконечное количество информации»
A
h
xt
Долговременная память
Кратковременная память
с
ht
Long-Short Term Memory
(LSTM)
Но мы же не можем помнить
«бесконечное количество информации»
A
h
xt
Долговременная память
Кратковременная память
с
ht
Механизм забвения
(forget gate)
Long-Short Term Memory
(LSTM)
Вот мы и пришли к идее LSTM
LSTM
h
xt
Долговременная память
Кратковременная память
с
ht
Веселый
Gannouni, Sofien, et al. "Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification." Scientific Reports 11.1 (2021): 1-17.
Определение эмоций по ЭЭГ
A
xt
ht
Salami, Dariush, and Saeedeh Momtazi. "Recurrent convolutional neural networks for poet identification." Digital Scholarship in the Humanities 36.2 (2021): 472-481.
В России — разруха.
Транспорт сломан.
Ты должен подумать, как выйти из этого положения.
Делай предложения!
Маяковский
Определение поэта по поэзии
A
xt
ht
Определение идентификатора молекулы по структуре
Разделение сигналов
Разделение сигналов
Разделение сигналов землетрясений
Naul, Brett, et al. "A recurrent neural network
Классификация переменных звезд
Che, Zhengping, et al. "Recurrent neural networks for multivariate time series with missing values." Scientific reports 8.1 (2018):1-12.
Многомерные временные ряды с пропущенными значениями
Klocek, Sylwester, et al. "MS-nowcasting: Operational Precipitation Nowcasting with Convolutional LSTMs at Microsoft Weather." arXiv preprint arXiv:2111.09954 (2021).
Сейчас ливанет над физфаком!
Предсказание осадков (Nowcasting)
Долгосрочное прогнозирование характеристик стока рек Арктической зоны на примере реки Колыма
Введение в тему
Исследование Арктики имеет огромное значение для понимания природных процессов в этом регионе и разработки стратегий адаптации к изменяющимся климатическим условиям. Арктические реки, очень чувствительны к изменению климата, которое приводит к деградации вечной мерзлоты, сильно влияет на режимы стока и гидрологические процессы.
Долгосрочное прогнозирование характеристик стока необходимо для эффективного управления водными ресурсами и предотвращения опасных явлений, связанных с водным режимом.
Основная цель: разработать методику долгосрочного прогнозирования уровня воды заблаговременностью 1 месяц
Среднемесячные уровни воды
Гидрологические данные
Исходные данные, предоставленные ВНИИГМИ МЦД (Всероссийский научно-исследовательский институт гидрометеорологической информации - мировой центр данных)
Разные периоды – разная структура данных
Метеорологические данные
Суммарные месячные осадки
Метеорологические данные
Результаты
Неужели лекция по рекуррентным сетям уже закончилась?
Источники картинок:�https://www.wallpaperbetter.com/ru/hd-wallpaper-akveu
Спасибо!
Канал в телеграм:
Написать отзыв:
Похлопайте как вам понравилось
Научные примеры из лекции
Биология:�Willett, Francis R., et al. "High-performance brain-to-text communication via handwriting." Nature 593.7858 (2021): 249-254.�Spampinato, C., Palazzo, S., Kavasidis, I., Giordano, D., Souly, N., & Shah, M. (2017). Deep learning human mind for automated visual classification. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 6809-6817).
Gannouni, Sofien, et al. "Emotion detection using electroencephalography signals and a zero-time windowing-based epoch estimation and relevant electrode identification." Scientific Reports 11.1 (2021): 1-17.
Общество:�Zhang, Han, and Jennifer Pan. "Casm: A deep-learning approach for identifying collective action events with text and image data from social media." Sociological Methodology 49.1 (2019): 1-57.
Науки о Земле:
Klocek, Sylwester, et al. "MS-nowcasting: Operational Precipitation Nowcasting with Convolutional LSTMs at Microsoft Weather." arXiv preprint arXiv:2111.09954 (2021).
Гуманитарные науки:
Assael, Yannis, Thea Sommerschield, and Jonathan Prag. "Restoring ancient text using deep learning: a case study on Greek epigraphy." arXiv preprint arXiv:1910.06262 (2019).
Salami, Dariush, and Saeedeh Momtazi. "Recurrent convolutional neural networks for poet identification." Digital Scholarship in the Humanities 36.2 (2021): 472-481.
История:
Tikhonov, Aleksej, and Klaus Müller. "Scribe versus authorship attribution and clustering in historic Czech manuscripts: a case study with visual and linguistic features." Digital Scholarship in the Humanities (2021).
Междисциплинарные исследования:
Che, Zhengping, et al. "Recurrent neural networks for multivariate time series with missing values." Scientific reports 8.1 (2018):1-12.
�
�
Демонстрации из лекции
Материалы для углубленного изучения
[Видео] Очень дружелюбное объяснение RNN от Serrano.Academy
[Видео] Объяснение RNN и LSTM от Brandon Rohrer