Я быстро наигрался с #ChatGPT из-за его моральных установок...

Я быстро наигрался с #ChatGPT из-за его моральных установок через которые надо пробиваться даже в самых простых и типовых задачах. Поэтому я настроил окружение чтобы пользоваться #llama локально и не могу остановиться с экспериментами уже неделю.

ChatGPT message with replaced reply by red banner with next message: "This content may violate our content policy. If you believe this to be in error, please submit your feedback — your input will aid our research in this area."

Like 25 May 2023 at 17:31 | Open on mstdn.io

5 comments

⚛️Revertron

@toby3d Неужели #llama даёт ответы такого же качества?

25 May 2023 at 17:49 | Open on zhub.link

Maxim Lebedev

@Revertron Чуть похуже, но всё равно достойно. Тут зависит от модели: я выбрал WizardLM-7B-uncensored-GGML, т.к. только на него у меня хватает железных ресурсов в 16Гб оперативы и 16Гб видеокарты. Говорят, на 13B результаты ещё лучше. А модели на 30 миллионов токенов уже превосходят ChatGPT по качеству ответов, если судить по этой таблице: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

25 May 2023 at 18:01 | Open on mstdn.io

⚛️Revertron

@toby3d Такое впечатление, что надо скидываться и покупать в складчину железо под это дело...

25 May 2023 at 18:50 | Open on zhub.link

Ale sa Pilipinas!

@toby3d Эту красную поебень кстати можно адблоком обойти (нужно порезать запросы к moderation endpoint)

25 May 2023 at 22:01 | Open on mstdn.io

Ale sa Pilipinas!

@toby3d Но да, локально поднять всяко прикольнее тбх, тоже хочу

25 May 2023 at 22:02 | Open on mstdn.io