большое окно у джемини можно использовать вместо дообучения. можно запихнуть в память сотню вопросов и правильных ответов, если они небольшие по объему то это даже не ударит по "бюджету"

я сейчас что то подобное использую в функции переводчика, что бы цензуру снять
там у меня всего 3 вопроса и ответа и модель благодаря таким примерам перестает отвечать что не хочет нецензурщину переводить

100 вопросов и ответов по 500 токенов это всего +50000 токенов к каждому запросу. из миллиона возможных

думаю попробовать взять десяток коротких порно рассказов из интернета и вставить в память вопросы типа напиши рассказ на тему такую то и ответ — текст реального рассказа. интересно получится ли бот порнопейсатель. всмысле будет ли он безотказно писать на такую тему. его можно уломать и без манипуляций с памятью но сложно и нестабильно