В записях активности нейронов есть колебания, пропуски и шум. Петербургскую модель NEuRT учили восстанавливать скрытые фрагменты этих сигналов, чтобы находить временные связи, которые трудно уловить обычной статистикой.

Кальциевая партитура

Нейроны не оставляют стенограмму своей работы. В экспериментах их активность наблюдают по флуоресцентному сигналу: когда в клетке меняется концентрация кальция, метка начинает светиться. Получается длинная временная запись, похожая на многоголосую партитуру.

23 сентября СПбПУ представил NEuRT — трансформерную модель для разбора видеозаписей активности нейронов. Разработкой занимается петербургская Лаборатория анализа биомедицинских изображений и данных. Модель помогает исследователям изучать сигналы; диагнозы людям она не ставит.

NEuRT работает с данными двухфотонной и миниатюрной флуоресцентной микроскопии. Миниатюрный микроскоп позволяет получать записи из гиппокампа у свободно двигающихся мышей, но такой материал содержит больше шума.

Связи между вспышками

Архитектура NEuRT основана на BERT — модели, знакомой по задачам обработки языка. При работе с текстом она сопоставляет слова и фрагменты предложения. В петербургской разработке механизм самовнимания сравнивает участки временной последовательности нейронных сигналов.

Обычные методы часто считают средние значения, пики или частоту событий в заранее выбранном окне. Трансформер оценивает связи между удалёнными во времени отрезками: сопоставляет отдельную вспышку с тем, что происходило раньше и позже. Как отмечают в СПбПУ, такие сложные временные зависимости статистические подходы могут терять.

Обучение на пропусках

Первое обучение прошло на открытом наборе MICrONS, который содержит записи активности 75 тысяч нейронов зрительной коры мыши. Затем модель проверили на другом материале — записях гиппокампа, сделанных миниатюрным микроскопом. Работа строилась так:

  1. Исследователи намеренно скрывали части последовательности из обучающего набора.
  2. NEuRT восстанавливал недостающий фрагмент, предсказывая ход кальциевого сигнала. Это напоминает упражнение с пропущенными словами.
  3. После предварительного обучения модель перенесли на записи другого типа.

В публикации в журнале IEEE Transactions on Neural Systems and Rehabilitation Engineering указано, что такая подготовка позволила перейти к новой задаче без необходимости заново собирать столь же большую размеченную выборку.

Результаты на шумных данных

По сообщению СПбПУ, для данных миниатюрной микроскопии коэффициент детерминации при реконструкции сигнала превысил 0,98. Этот показатель отражает, насколько хорошо расчёт модели совпадает с реальной записью. В этом случае NEuRT восстанавливал материал с более высоким уровнем шума, чем при двухфотонной микроскопии.

Следующий тест провели на мышах дикого типа и трансгенных мышах 5xFAD, которых используют как модель болезни Альцгеймера. Точность разделения групп превысила 98%. Это результат на конкретном наборе экспериментальных животных с выраженными различиями между группами, а не показатель точности диагностики человека.

Проверка решения

Анализ внимания позволяет проследить, какие участки записи повлияли на классификацию. Особенно заметным оказался вклад компонентов, связанных со средним уровнем нейронной активности. Исследователи проверили их роль: убрали наиболее значимые временные сегменты. После этого точность распознавания модели 5xFAD снизилась с 75% до 20%.

Так можно связать вывод NEuRT с определёнными отрезками сигнала. Гипотезу о необычном ритме исследователи затем могут перепроверить на новых записях и другими методами.

От сигнала к поведению

Научно-исследовательский корпус Лаборатории анализа биомедицинских изображений и данных СПбПУ расположен на Политехнической улице, 29АФ, в Калининском районе Петербурга. Результаты работы опубликованы в международном журнале IEEE Transactions on Neural Systems and Rehabilitation Engineering.

Следующий шаг, обозначенный авторами, — сохранять при анализе структуру на уровне отдельных нейронов и объединять их активность с данными о поведении. Такой подход должен помочь проверять, как меняется работа нейронных сетей при воздействии препаратов или в разных экспериментальных условиях, сохраняя отдельные сигналы вместо одной усреднённой линии.