Хочу локальную модель с контекстом в дохуилион токенов.

Чтобы скармливать ей свою шизофазию в виде транскрипта подкаста, а она запиливала оглавление.

Попробовал с LLaMA 3.1 - не вывозит - в лучшем случае суммирует по концовке выпуска. В худшем - вообще забывает, что она тут делает.

ChatGPT тоже, кстати, не помог - только выжрал бесплатный лимит на анализ данных.

P.S. Надо, конечно, ещё посмотреть на nuextract, наверное :philosoraptor:

#thoughts #log #podcast #automation #ML #LLM #transcript #text #subtitles