Lecture 4.
t-SNE, UMAP
Общая идея.
t-SNE
Не все данные мы можем разделить с помощью линейных методов уменьшения размерности…
Изначальные данные
t-SNE
Видим на картинке 3 хорошо различимых кластера.
Для простоты будет отображать 2-мерное пространство в 1-мерное
Шаг 1.
t-SNE
Мы выбрали одну из точек датасета. И для другой выбранной нами точки посчитаем евклидово расстояние до неё.
Шаг 1.
t-SNE
Вычисление совместного распределения вероятностей, которое представляет сходства между точками данных
Но что значит сходство?
В оригинальной статье написано:
similarity of datapoint xⱼ to datapoint xᵢ is the conditional probability p_{j|i}, that xᵢ would pick xⱼ as its neighbor.
Шаг 1. С математикой…
t-SNE
Вычисление совместного распределения вероятностей, которое представляет сходства между точками данных.
Вероятность того, что xᵢ соседствует с xⱼ.
Шаг 1. С математикой…
t-SNE
Зачем в формуле деление?
Шаг 1. С математикой…
t-SNE
Хотим учесть, что плотность кластера может быть разная, и отнормировать все расстояния.
Шаг 1. С математикой…
t-SNE
Откуда в формуле дисперсия?
Это гиперпараметр - perplexity.
По сути это целевое значение количества соседей центральной точки.
Так мы сможем учесть и плотные и разреженные кластеры!
Примеры влияния на результаты
будут дальше :)
Шаг 1. С математикой…
t-SNE
Шаг 1. С математикой…
t-SNE
NO!
В итоге возьмем:
Шаг 2.
t-SNE
Создадим набор точек в целевом пространстве измерений и вычислим для них совместного распределения вероятностей.
Изначально нужно как-то случайно расположить точки в этом пространстве.
Шаг 2.
t-SNE
У нормального распределения “короткие хвосты”...
Поэтому решили использовать распределение Стьюдента с 1 степенью свободы.
Шаг 2.
t-SNE
Расстояния в низкоразмерном пространстве:
Шаг 3.
t-SNE
В оригинальной статье говорится, что расстояния должны быть proportional to probability density under a Gaussian centered at xᵢ. (Картинка для ранее выделенной точки)
Шаг 3.
t-SNE
Для того, чтобы добиться пропорциональности - используем градиентный спуск.
Шаг 3.
t-SNE
Подсчитаем так для первой точки и сделаем для всех остальных точек то же самое.
Небольшое отступление.
t-SNE
Будем пытаться оптимизировать дивергенцию Кульбака-Лейблера:
Небольшое отступление.
t-SNE
Градиент рассчитывается для каждой точки и описывает, насколько сильно её стоит “оттолкнуть” и в каком направлении.
Конец? Примеры 1
t-SNE
Конец? Примеры 2
t-SNE
Конец? Примеры 3
t-SNE
Конец? Примеры 4
t-SNE
PCA vs t-SNE
t-SNE
PCA vs t-SNE
t-SNE
PCA vs t-SNE
t-SNE
Шаги похожи на t-SNE…
UMAP
Шаг 1. Построение графа расстояний, для k-1 ближайшего соседа.
Взвешиваем рёбра на основе расстояний.
Шаги похожи на t-SNE…
UMAP
Шаг 1. Получаем similarity score, основываясь на функции, где нам надо подобрать параметр сигма
Далее можем посчитать расстояние между точками:
Шаги похожи на t-SNE…
UMAP
Шаг 1. Для каждого элемента получаем свои similarity scores, которые могут быть асимметричны
Для симметричности используем
Шаги похожи на t-SNE…
UMAP
Шаг 2. Переносим точки в низкоразмерное пространство и высчитываем расстояния в нём.
Шаги похожи на t-SNE…
UMAP
Шаг 3. Аналогичен шагу 3 t-SNE - используем градиентный спуск для перераспределения точек. Но тут также накладывается условие на минимальное расстояние между любыми двумя точками.
Гиперпараметры.
UMAP
n_neigh - количество соседей, которое рассматриваем для графа.
min_dist - минимальное расстояние между любыми двумя точками в низкоразмерном пространстве.
P.S.
Количество эпох и количество компонент - тоже гиперпараметры.
UMAP
UMAP vs TSNE
TSNE
Примеры.
UMAP
Примеры.
UMAP
UMAP
t-SNE
LargeVis
Laplacian Eigenmaps
PCA
Примеры.
UMAP
Наш мамонтяра.
UMAP
Наш мамонтяра.
UMAP
Bias-Variance tradeoff concept.
Best Practices
Борьба с переобучением.
Best Practices
Переобучение - ситуация большой дисперсии ошибок.
Для борьбы с ним будем делить данные на 3 куска:
train - test - validate
Борьба с переобучением.
Best Practices
Как можно себя обезопасить?
a - Обучаем модель, удаляя часть данных
b - Обучаем модель для практического использования�
Оптимизация гиперпараметров.
Best Practices
Если параметров мало - используем GridSearch.
Если параметров много - техники оптимизации гиперпараметров.
Кросс-валидация.
Best Practices
Разделяем выборку на test/validate, используя метод k-fold.
Получим набор метрик, тем самым можем оценить надежность модели и отсутствие переобучения.
Несбалансированные классы.
Best Practices
Используем методы Upsampling-а и Downsampling-а при необходимости.
Матрица ошибок.
Metrics.
Формулы для метрик
Metrics.
Ко(т)нец презентации
Далее:
More best practices and KNN
Теоретический минимум