Хм. На русском он отказался по причине "Палехче, тут...

Мя's posts Post Back to profile

Top-level

Мя :sparkles_lesbian:

Хм. На русском он отказался по причине "Палехче, тут слишком много"

Откопала в открытом доступе токенизер...ёмае, да там токенов больше чем символов!

Как оно с таким токенизатором В ПРИНЦИПЕ умудряется выдавать что-то осмысленное на русском???

Like 12 Mar 2023 at 13:46 | Open on mastodon.ml

8 comments

Мя :sparkles_lesbian:

Для понимания, представьте что вы читаете текст по одной букве, и ответ формулируете тоже по одной букве. Вот как-то так с вами общается чатгпт на русском

12 Mar 2023 at 13:50 | Open on mastodon.ml

[DATA EXPUNGED]

Мя :sparkles_lesbian:

@th3rdsergeevich не utf-8 aware токенизатор is a b!tch

12 Mar 2023 at 14:00 | Open on mastodon.ml

localhost(mod=True)

@mo
Да какая разница, если размер текста вне английского алфавита становится больше...
@th3rdsergeevich

12 Mar 2023 at 14:02 | Open on mastodon.ml

Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft большая разница, обрабатывать текст корректно или некорректно

@th3rdsergeevich

12 Mar 2023 at 14:03 | Open on mastodon.ml

localhost(mod=True) replied to Мя

@mo
я думаю это сделано намеренно, а не по ошибке
@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml

Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft токенизация по половине символа? Крайне вряд-ли. Просто кое-кто до сих пор не может осознать тот факт, что существует жизнь за пределами US-ASCII

@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml

[DATA EXPUNGED]

Мя :sparkles_lesbian: replied to DELETED

@th3rdsergeevich модель не работает с байтами от слова совсем
Собственно, нафига нужен токенизатор: он превращает байты в набор векторов, часто даже ±осмысленно, которыми уже оперирует нейросеть

@frssoft

12 Mar 2023 at 14:21 | Open on mastodon.ml