@skobkin а дообучение разве не работает? Подбором датасетов под тему. Я вроде ролики на ютубе видел, народ ллм затачивает под тему кажется. Краем глаза слежу за кульбитами.
@3draven Если надо чтобы модель хорошо ориентировалась в базе знаний твоей компании, например - да, идея хорошая. Если тебе нужно работать с информацией со всего мира - не особо подойдёт.
@skobkin а, как поисковик с мозгами. Так домашние модели врядли смогут работать, разве что кто то осилит торент для датасетов, что бы множество юзеров скрапили данные и собирался общий датасет из тысяч компов и браузеров. Но такой проект поди потяни накатать.
@3draven@skobkin насколько я понимаю, дообучение пока не для простых смертных -- если инференс для мелких моделей можно гонять на более-менее жирных видеокартах, то чтобы дообучать надо ресурсов куда больше.
Gregory's Server
@3draven
Если надо чтобы модель хорошо ориентировалась в базе знаний твоей компании, например - да, идея хорошая.
Если тебе нужно работать с информацией со всего мира - не особо подойдёт.