Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

​

Кендин Михаил Павлович� Антюфриева Любовь Александровна�Цымбаренко Дмитрий Михайлович

Курс: «Нейронные сети и их применение в научных исследованиях»

Введение

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

[1] D. Grebenyuk et al. // doi: 10.1107/S1600576722005878

• Метод рентгеноструктурного анализа
• Важнейший метод анализа строения кристаллических твердых тел
• Метод полного рентгеновского рассеяния с анализом функции PDF
• Позволяет исследовать строение аморфных систем и жидкостей

Функция рассеяния

FT

МНК

Функция PDF

Структура молекулы^[1]

• Требования к данным:
• Сбор данных в большой области обратного пространства
• Высокое время накопления сигнала (до 40 часов)
• Центральная проблема: приборное уширение сигнала

FT

Метод PDF: особенности и проблемы

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

размытие затухание

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Алгоритм Коэлхо [1]

• Ядро алгоритма – метод наименьших квадратов с регуляризацией
• Проблема: не допускается деконволюция диффузного рассеяния, важного для PDF

Деконволюция дифракционных данных

[1] A. Coelho. // doi: 10.1107/S1600576717017988

Искомые параметры:

​

Интенсивность пиков a_i

Интенсивность фона Bkg_c,i

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Цель работы: разработать алгоритм реставрации данных полного рентгеновского рассеяния и рентгеновской дифракции c использованием методов классического и/или глубокого машинного обучения

​

Центральная идея работы: одновременное эффективное устранение приборного размытия для острых брэгговских пиков и диффузного рассеяния

​

Задачи работы:

• Разработать и обучить модель приборного уширения экспериментальных данных
• Разработать алгоритм деконволюции экспериментальных данных с опорой на параметры модели
• Испытать реставрированные данные рентгеновского рассеяния в анализе функции PDF

​

​

Цель и задачи работы

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Исходные данные – массивы данных полного рентгеновского рассеяния и рентгеновской дифракции в формате 2Theta – Интенсивность (1000 – 10000 точек на один датасет)

​

Экспериментальные данные:

• Данные, записанные на лабораторных (Bruker D8 QUEST) и синхротронных (Elettra) источниках излучения
• Всего около 100 датасетов

​

Синтетические данные:

• Синтетические дифрактограммы, содержащие брэгговские пики и диффузное рассеяния
• Аугментация данных – пуассоновский шум

​

Исходные данные

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Пример исходных данных

Немонохроматичность пучка

• Kα_1,2-дублет
• Тормозное излучение

Описание функции профиля

Несовершенство прибора

• Гауссово размытие

Данные полного рассеяния для �стандартного образца NIST SRM660c (LaB₆)

​

​

​

​

​

​

f’(x)

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

​

• Baseline – модель равномерного размытия профиля без учета угловой зависимости

​

​

​

​

• Дальнейшее улучшение модели – учет немонохроматичности первичного пучка
• Обучаемые параметры модели – g(x) и s(λ) (по точкам или в виде набора функций)
• Деконволюция – поиск оценки функции h(x), наилучшим образом описывающей f(x)

Сверточная модель приборного уширения

​

​

​

h(x)

​

​

​

f(x)

conv1d

​

​

g(x)

​

​

​

​

​

​

​

​

h(x)

​

​

​

​

f(x)

LambdaConv

​

​

​

s(λ)

​

​

​

​

conv1d

​

​

​

g(x)

​

​

​

​

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Обучение модели – поиск оценки на профильную функцию g(x)
• Проблема – сильная корреляция соседних точек профиля
• Решение – уменьшение количества параметров + регуляризация

Обучение сверточной модели

​

​

​

​

​

​

​

h(x)

​

​

​

​

​

​

​

f(x)

NIST SRM660c

​

Synchrotron

NIST SRM660c

​

Bruker D8

QUEST

conv1d

g(x) = ?

​

​

​

​

​

​

g(x)

Adam

​

​

​

250 эпох

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Модифицированный алгоритм Люси – Ричардсона
• Достигнуто высокое качество данных для стандартного образца
• Не удается перенести результат на реальные образцы

Сверточная модель: деконволюция

​

​

​

​

​

​

​

f(x)

NIST SRM660c

​

Bruker D8

QUEST

RL

​

​

​

​

100 итераций

FT

​

​

​

Генерация

PDF

​

​

​

​

​

​

​

h(x)

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Модель приборного уширения: DecCNN

Сверточные слои

Полносвязные слои

Вход

5000х1

нейроны

ядро

32

27

64

15

128

9

256

3

512

3

4096

3000

5000

Выход

5000х1

[1] Q. Zhou et al.. // doi: 10.3390/coatings12081229

MaxPool + ReLU

Flatten

ReLU

Linear

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

DecCNN: результаты обучения

10000 синтетических датасетов, 5000 эпох

​

• Функционал ошибок – MSELoss
• Метрика качества – R2
• Оптимизатор Adam
• 1000 датасетов на батч

input

target

input = target g(x)

g(x) известна из данных для NIST SRM660c (LaB₆)

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

DecCNN: результаты деконволюции

R2 (test) = 0.998

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Journal of Applied Crystallography (John Wiley & Sons Ltd)

​

• Crystal Growth & Design (ACS Publications)

​

• Crystal Engineering Communications (Royal Society of Chemistry)

​

• Crystals (MDPI)

​

​

Журналы

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Создана сверточная модель приборного уширения, произведено обучение модели на массиве дифракционных данных для стандартного образца NIST SRM660c (LaB₆)
• Апробирован ряд алгоритмов деконволюции дифракционных данных, удовлетворительные результаты получены для дифрактограммы образца NIST SRM660c в случае использования модифицированного алгоритма Люси–Ричардсона. Показано, что применение аналогичного подхода для рентгенограмм реальных образцов не дает положительных результатов
• Апробирован подход к деконволюции данных полного рентгеновского рассеяния с использованием сверточной нейросети. Нейронная сеть DecCNN, обученная на наборе синтетических рентгенограмм, показала хорошие метрики качества на валидационной и тестовой выборках (R2 > 0.995)

​

​

Заключение

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Fourier Self-Deconvolution (FSF)
• Чувствительна к ошибкам округления и экспериментальным шумам
• Итеративные алгоритмы: следует корректно выбрать функцию потерь
• ​
• MSE с регуляризацией
• Метод максимальной энтропии
• ​
• Метод максимального правдоподобия

Известные алгоритмы деконволюции

• MSE
• w-MSE

• Регуляризация
• Энтропия

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

Целевые метрики:

• Фактор затухания PDF: Q_damp < 0.02 Å^-1
• FWHM линий стандартных образцов (FWHM < 0.1^o)
• Факторы невязки (R_w < 30%) и корреляции �(PCC > 0.9) теория-эксперимент

Функционалы ошибок:

• Обучение модели:
• MSE с регуляризацией и весовой схемой
• Деконволюция:
• MSE с регуляризацией и весовой схемой
• Функция правдоподобия
• Функция энтропии

​

Метрики и функционалы ошибок

B(r)

Разработка алгоритмов реставрации данных рентгеновского рассеяния и рентгеновской дифракции с использованием методов машинного обучения

• Разработка и обучение упрощенной модели приборного уширения на дифракционных данных для стандартных образцов
• Подбор и/или разработка алгоритма деконволюции, позволяющего устранять приборное уширение одновременно для брэгговских пиков и диффузного рассеяния
• Усложнение модели приборного уширения, учет немонохроматичности пучка. Подбор гиперпараметров и регуляризации для стабильного обучения
• Усовершенствование алгоритмов деконволюции – возможно с применением DL
• Цель – получить PDF, превосходящие по качеству полученные с исходных данных полного рассеяния

План работы