Email or username:

Password:

Forgot your password?
Kirill Zholnay

Нейронка с 500 токенами в секунду

groq.com/

У меня есть куча вкладок в браузере, которые я отложил на потом, потому-что лень много букв читать. И вот теперь благодаря Mixtral с контекстом в 32000 токенов нейронке можно скармливать большие тексты

А благодаря оптимизации инференса от команды groq, это можно делать за секунды

Вот исходный текст:
meduza.io/feature/2024/01/05/k

А вот AI:
---
Паспорт оказывает большое влияние на жизнь человека. Патрик Биксби, исследователь из Университета Аризоны, считает паспорт одним из самых важных примеров «жизненной лотереи». Граждане стран с «слабыми» паспортами могут посетить меньше стран без визы по сравнению с гражданами стран с «сильными» паспортами.

Биксби хочет получить паспорт гражданина Евросоюза из-за сложной политической обстановки в США. Он также собрал несколько «фантастических паспортов» от частных организаций и несуществующих государств, которые используются в основном как символический протест против власти национальных государств.

Первые протопаспорта появились около 3,5 тыс. лет назад в форме глиняных табличек в Древнем Египте. Современные паспорта появились после Первой мировой войны в результате формирования Лиги Наций.

Качество паспорта определяется по тому, на сколько стран его обладатель может посетить без визы. Рейтинг паспортов составляют несколько международных агентств. В списке 2023 года на первых позициях находятся ОАЭ, некоторые государства ЕС и Швейцария. Внизу рейтинга находятся страны, которые в последние several decades faced civil wars, invasions, and refugee crises, such as Afghanistan, Syria, Iraq, and Somalia.

Были попытки создания альтернативных паспортов для уехавших белорусов и россиян, но их успех зависит от переговорной силы представителей оппозиции и политической воли стран.

11 comments
⚛️Revertron

@kirill А как ты скармливал ей текст? Копипастил в поле ввода?

Kirill Zholnay

@Revertron Я в браузере сделал вид для чтения, чтобы тексто оставил. И скопипастил, да )

Но там есть и API, да и сама модель доступна в опенсурс, можно крутить локально, правда далеко не с теми с скоростями, что у этих ребят. ollama.com/library/nous-hermes

⚛️Revertron

@kirill Интересно, а вообще эти модели и на невидии и на амд запускаются?

Kirill Zholnay

@Revertron Эти модели довольно быстро работают на жирных CPU, и очень быстро на GPU.

twꙮ

@kirill@s.zholnay.name @Revertron@zhub.link Подтверждаю, на AMD крутил что-то помельче. На CPU все таки медленно, даже с оффлоадом большей части слоев на GPU.

kurator88

@kirill ты видел Яндекс сокращалку ? Давно пользуюсь для того чтобы быстро оглавление делать и самое интересное смотреть

Kirill Zholnay

@kurator88 Не, у меня яндекс забанен как фейсбук и еще куча аналогичного бигтеха.

Nanao Ei

@kurator88 а она у них работает где-то вне Я.Бровзера?

Ilich Ramírez Sánchez
@kurator88
А она уже научилась реально большие тексты кушать? Пробовал использовать года пол назад. Закинул текст листов на 10 А4. Она мне сказала, что слишком много букав. По тексту меньше мне и самому не впадлу взглядом пробежать, подумал я и больше не открывал)
@exo
Go Up