Scaling Monosemanticity

Extracting Interpretable Features from Claude 3 Sonnet

overview

Как интерпретировать модели?

• Почему мы просто не можем посмотреть на активацию нейронов и проанализировать?
• – Проблема заключается в том, что многие нейроны являются полисемантическими, то есть они реагируют на комбинации разнородных входных сигналов

Как интерпретировать модели?

• Почему мы просто не можем посмотреть на активацию нейронов и проанализировать?
• – Проблема заключается в том, что многие нейроны являются полисемантическими, то есть они реагируют на комбинации разнородных входных сигналов

​

• По гипотезе Anthropic инженеров, одна из возможных причин полисемантичности – суперпозиция
• Суперпозиция — это предполагаемое явление, при котором нейронная сеть способна представлять больше независимых “признаков” данных, чем у нее есть нейронов. Она делает это путем назначения каждому признаку своей линейной комбинации нейронов.
• Читать больше по теме можно тут или тут

Как бороться с суперпозицией?

1. Создание моделей без суперпозиции за счет принуждения к разреженности активаций.
1. Один из вариантов – dictionary learning (читать про него тут и тут)
2. Использование метода словарного обучения для поиска линейного базиса признаков.
3. Комбинированные подходы, сочетающие эти методы.

Sparse AutoEncoder (SAE)

source

Sparse AutoEncoder (SAE). v1. Математика

source (это первая статья Anthropic на тему интерпретации с SAE )

Sparse AutoEncoder (SAE)

Почему именно MLP

paper – Locating and Editing Factual Associations in GPT

Sparse AutoEncoder (SAE). v2. Математика

source ( А это статья Anthropic с SAE, которую мы разбираем )

Sparse AutoEncoder (SAE). Что изменилось?

​

1. Добавлено смещение и масштабирование входных активаций перед ReLU
2. Включена норма декодера Wdec в регуляризацию, обеспечивая более интерпретируемые направления признаков.
3. Упор на интерпретацию признаков как линейных направлений (features directions) в пространстве активаций, а не только на разреженное представление.
4. Добавлены bias-термы

Scaling Laws for SAE

SAE. Еще про размеры

• 1M: Примерно 2% признаков оказались “мертвыми”.
• 4M: 35% оказались “мертвыми”.
• 34M: 65% признаков были “мертвыми”.

​

Что это означает: С увеличением числа признаков в разреженном автоэнкодере возрастает и доля “мертвых” признаков. Это может свидетельствовать о том, что модель не использует часть признаков или что обучающий процесс был неэффективным в активизации этих признаков.

​

Какие выводы удалось сделать на примере Claude 3 Sonnet

​

Корреляция признаков

Корреляция признаков

Как выявляют признак и его название?

1. Выбор текстов с максимальной активацией признака
2. Изучение текстовых фрагментов
3. Поиск общей темы или концепции
4. Использование автоматизированных методов интерпретации
5. Проверка специфичности и влияния

Эксперименты с исправление ошибок на основе активаций признаков

1. Подали на вход модели корректный (без ошибок) фрагмент кода и принудительно увеличили активацию определенного признака. В результате модель сгенерировала сообщение об ошибке, хотя в коде не было ошибок.
2. Подали на вход код, который действительно содержит ошибку, и уменьшили активацию этого же признака. В результате модель повела себя так, как будто ошибки не существовало
3. Добавили в конец подсказки “>>>” (что обычно указывает на начало новой строки кода) и снова уменьшили активацию признака до большого отрицательного значения. В этом случае модель не просто игнорировала ошибку, но действительно переписывала код так, чтобы ошибка была устранена.

Распределение признаков по концептуальной близости

Выводы из работы

• Признаки активируются по смыслу (язык не влияет)
• Модель может иметь гораздо больше признаков, которые еще не были обнаружены, и они могут быть выявлены с помощью еще более крупных SAE
• Наличие признака, связанного с определенной концепцией, тесно связано с частотой упоминания этой концепции в обучающих данных. С увеличением размера модели SAE, порог частоты, необходимый для появления признака, снижается.
• Авторы предполагают, что если концепция встречается в обучающих данных один раз на миллиард токенов, то для обнаружения уникального признака, представляющего эту концепцию, потребуется модель SAE с примерно миллиардом активных признаков.

тг канал

Мой Telegram-канал: @nadlskom