Gregory's ServerВчера в Nature появилась статья, в которой показано как инструменты искусственного интеллекта (ИИ) на основе больших языковых моделей (типа ChatGPT) быстро деградируют (в плане качества выдаваемых текстов), если обучение нейросети происходит на текстах, генерируемых самой этой нейросетью.
Девяти поколений применения такой процедуры достаточно, чтобы вместо осмысленного текста нейросеть начала выдавать полную «тарабарщину». Авторы остроумно сравнивают этот эффект с инбридингом (деградацией при близкородственном скрещивании).
Популярное описание результатов статьи на русском языке можно прочитать здесь.
 3 comments
 @Chia Очень похоже на то, как работают шизоидные расстройства. Если гонять по кругу в голове одно и то же без вливания какой-либо новой информации извне, она становится все более и более беспорядочной, бессмысленной, и бесполезной, а часто и вредной, и там вплоть до галлюцинаций (потому что мозг в этой херне все равно ищет паттерны и смысл, хотя их там нет). Это называется "загоняться", по-простому.  так они и так выдают тарабарщину. просто люди придумали себе новую религию и упорно поклоняются этой антинаучной дури.
нет там никакого интеллекта. это просто стохастическая выборка случайных слов (тарабарщина и есть, ну или шизофазия). всё определяется лишь энтропией в этой выдаче бессмысленных текстов. но они ВСЕ бессмысленны по определению. |
@Chia имбридинг это закрепление наследственных черт, на минуточку. А "деградировавшего потомства" при этом методе получается стандартные 25%.
Так ещё старик Мендель рассказывал в законе имени себя