Email or username:

Password:

Forgot your password?
Мя's posts Post Back to profile
Top-level
localhost(mod=True)

@mo
я думаю это сделано намеренно, а не по ошибке
@th3rdsergeevich

12 Mar 2023 at 14:05 | Wall-to-wall | Open on mastodon.ml
3 comments
Мя :sparkles_lesbian: replied to localhost(mod=True)

@frssoft токенизация по половине символа? Крайне вряд-ли. Просто кое-кто до сих пор не может осознать тот факт, что существует жизнь за пределами US-ASCII

@th3rdsergeevich

12 Mar 2023 at 14:05 | Open on mastodon.ml
[DATA EXPUNGED]
Мя :sparkles_lesbian: replied to DELETED

@th3rdsergeevich модель не работает с байтами от слова совсем
Собственно, нафига нужен токенизатор: он превращает байты в набор векторов, часто даже ±осмысленно, которыми уже оперирует нейросеть

@frssoft

12 Mar 2023 at 14:21 | Open on mastodon.ml
localhost(mod=True) replied to DELETED

@th3rdsergeevich
повезло однобайтным языкам
@mo

12 Mar 2023 at 14:59 | Open on mastodon.ml
Go Up