Doom запустили на Stable Diffusion 1.4. Ась?
https://gamengen.github.io/ (по ссылке - больше записей геймплея)
Исследователи из Google собрали из говна и хитродообученных нейронок систему под названием GameNGen, способную в реальном времени симулировать DOOM.
Инпут игрока заряжается в нейронку в качестве промпта. Получилось выжать более 20 кадров в секунду на одном TPU.
Контекст, аз есмь память у возомнившей себя сразу и игрой и игровым движком нейромодельки для генерации анатомически некорректной порнографии составляет три секунды плюс сопутствующий им ввод игрока. Тем не менее, этого оказалось достаточно, чтобы с завидной консистентностью проходить большие куски уровней и в большинстве случаев корректно считать изменения в количестве патронов, здоровья и врагов, но стоит вам только упереться в стену дольше, чем на три секунды, лишив модельку всего контекста - и вот уже вы основательно рискуете проснуться где-то в бэкрумах.
@lnkr_ ЯННП, что конкретно там симулируется нейронкой?