Процесс лития водички выглядит как-то так 1. Напиши...

Процесс лития водички выглядит как-то так
1. Напиши мне в общих чертах про проблему
2. Ctrl+C, Ctrl+V
3. А теперь обоснуй актуальность, объект и предмет исследования
4. Ctrl+C, Ctrl+V
5. ну вы понели

Причем мне даже переводчик подключать не приходится, потому что там рили тривиальщина, и достаточно русскоязычной части модели

Like 12 Mar 2023 at 12:07 | Open on mastodon.ml

11 comments

Мя :sparkles_lesbian:

Моделька отлично перемалывает википедию в человекочитаемый формат :ageblobcat:

12 Mar 2023 at 13:31 | Open on mastodon.ml

Мя :sparkles_lesbian:

Попробую швыряться в неё целыми статьями. Официальная дока говорит про лимит в 4 тысячи токенов (это на самом деле очень много)

12 Mar 2023 at 13:37 | Open on mastodon.ml

Мя :sparkles_lesbian:

Хм. На русском он отказался по причине "Палехче, тут слишком много"

Откопала в открытом доступе токенизер...ёмае, да там токенов больше чем символов!

Как оно с таким токенизатором В ПРИНЦИПЕ умудряется выдавать что-то осмысленное на русском???

12 Mar 2023 at 13:46 | Open on mastodon.ml

Мя :sparkles_lesbian:

Для понимания, представьте что вы читаете текст по одной букве, и ответ формулируете тоже по одной букве. Вот как-то так с вами общается чатгпт на русском

12 Mar 2023 at 13:50 | Open on mastodon.ml

[DATA EXPUNGED]

Мя :sparkles_lesbian:

@th3rdsergeevich не utf-8 aware токенизатор is a b!tch

12 Mar 2023 at 14:00 | Open on mastodon.ml

localhost(mod=True)

@mo
Да какая разница, если размер текста вне английского алфавита становится больше...
@th3rdsergeevich

12 Mar 2023 at 14:02 | Open on mastodon.ml

Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft большая разница, обрабатывать текст корректно или некорректно

@th3rdsergeevich

12 Mar 2023 at 14:03 | Open on mastodon.ml

localhost(mod=True) replied to Мя

@mo
я думаю это сделано намеренно, а не по ошибке
@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml

Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft токенизация по половине символа? Крайне вряд-ли. Просто кое-кто до сих пор не может осознать тот факт, что существует жизнь за пределами US-ASCII

@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml

[DATA EXPUNGED]

Мя :sparkles_lesbian: replied to DELETED

@th3rdsergeevich модель не работает с байтами от слова совсем
Собственно, нафига нужен токенизатор: он превращает байты в набор векторов, часто даже ±осмысленно, которыми уже оперирует нейросеть

@frssoft

12 Mar 2023 at 14:21 | Open on mastodon.ml