И снова про чтение мыслей. Около 9 месяцев назад появились (club.dns-shop.ru/digest/90269-) первые эксперименты по использованию Stable Diffusion для визуального чтения мыслей на основе фМРТ. Действительно, в процессе обучения SD формируется пространство визуальных образов, и для чтения мыслей остаётся "сматчить" это пространство на данные фМРТ. К сожалению, такой матчинг оказывается во многом индивидуальным, т.е. прибор для чтения мыслей придётся до-обучать для каждого пользователя.
Очевидно, что аналогичный матчинг можно проделать и с латентным пространством генеративных текстовых сетей типа GPT. Такие эксперименты на основе фМРТ были описаны в Nature Neuroscience в апреле-мае (habr.com/ru/news/732834/), а вот сейчас уже появились аналогичные эксперименты от университета Сиднея на основе ЭЭГ (m.hightech.plus/2023/12/13/bra). Результаты были представлены на NeurIPS.
/cc @rf