Email or username:

Password:

Forgot your password?
Мя's posts Post Back to profile
Top-level
Мя :sparkles_lesbian:

@th3rdsergeevich не utf-8 aware токенизатор is a b!tch

12 Mar 2023 at 14:00 | Open on mastodon.ml
6 comments
localhost(mod=True)

@mo
Да какая разница, если размер текста вне английского алфавита становится больше...
@th3rdsergeevich

12 Mar 2023 at 14:02 | Open on mastodon.ml
Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft большая разница, обрабатывать текст корректно или некорректно

@th3rdsergeevich

12 Mar 2023 at 14:03 | Open on mastodon.ml
localhost(mod=True) replied to Мя

@mo
я думаю это сделано намеренно, а не по ошибке
@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml
Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft токенизация по половине символа? Крайне вряд-ли. Просто кое-кто до сих пор не может осознать тот факт, что существует жизнь за пределами US-ASCII

@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml
[DATA EXPUNGED]
Мя :sparkles_lesbian: replied to DELETED

@th3rdsergeevich модель не работает с байтами от слова совсем
Собственно, нафига нужен токенизатор: он превращает байты в набор векторов, часто даже ±осмысленно, которыми уже оперирует нейросеть

@frssoft

12 Mar 2023 at 14:21 | Open on mastodon.ml
localhost(mod=True) replied to DELETED

@th3rdsergeevich
повезло однобайтным языкам
@mo

12 Mar 2023 at 14:59 | Open on mastodon.ml
Go Up