Email or username:

Password:

Forgot your password?
AltTexter's posts Post Back to profile
Top-level
AltTexter RU

@skobkin @drq @n0icz агась, нужен сервер с видяхой(

24 Apr 2024 at 19:10 | Open on lor.sh
10 comments
Dr. Quadragon ❌

@altext А если лламу какую-нибудь попробовать? Она вроде может работать на ЦПУ.

@skobkin @n0icz

24 Apr 2024 at 19:10 | Open on mastodon.ml
AltTexter RU

@drq @skobkin @n0icz качество и скорость я уверен будут хуже. джемини обрабатывает одну фотку за 6 секунд +-. а асинхронно да хоть 60 фоток за 10 сек...

24 Apr 2024 at 19:11 | Open on lor.sh
Alexey Skobkin

@altext @drq @n0icz
На CPU работа с изображением будет длиться ВЕЧНОСТЬ.

Тексты-то не очень живо шевелятся если брать не самые глупые модели.

24 Apr 2024 at 19:13 | Open on lor.sh
Alexey Skobkin

@drq @altext @n0icz
LLaMa ж только текстовая.

Но бывает LLaVA и аналоги.

24 Apr 2024 at 19:12 | Open on lor.sh
Alexey Skobkin

@altext @drq @n0icz
Да. Я в этом году аж задумался о видеокарте в сервер.

24 Apr 2024 at 19:11 | Open on lor.sh
Dr. Quadragon ❌

@skobkin Вот только придется брать мерзкую Невидию, и ставить их пакостные дрова.

Потому что у всех остальных с compute api все еще все плохо.

@altext @n0icz

24 Apr 2024 at 19:13 | Open on mastodon.ml
Alexey Skobkin

@drq @altext @n0icz
Ты говоришь это человеку, который принципиально сидит на AMD и запускает разные модельки.

У AMD с этим всё не так плохо, как может показаться. Они, конечно, отстают по производительности, но зато у них абсолютно открытые драйверы прямо в ядре, которые даже кучу разных типов ML могут ускорять без добавки проприетарного драйвера сверху, а ещё и ROCm - SDK для вычислений.

И если два года назад я бы сказал, что пока что на ROCm мало кто заводится, то сейчас я вот недавно писал что у очень простого тулкита для LLM появилась официальная поддержка AMD.

И Stable Diffusion (ещё до XL) я запускал (пусть и немного попердолившись) на AMD тоже.

А сейчас ситуация ещё получше - вышли более новые версии ROCm с поддержкой большего количества карточек, например.

Так что не надо тут вот это тут всю эту радеонофобию разводить!

@drq @altext @n0icz
Ты говоришь это человеку, который принципиально сидит на AMD и запускает разные модельки.

У AMD с этим всё не так плохо, как может показаться. Они, конечно, отстают по производительности, но зато у них абсолютно открытые драйверы прямо в ядре, которые даже кучу разных типов ML могут ускорять без добавки проприетарного драйвера сверху, а ещё и ROCm - SDK для вычислений.

24 Apr 2024 at 19:19 | Open on lor.sh
Dr. Quadragon ❌

@skobkin О, приятно слышать, неуж-то за ум взялись.

@altext @n0icz

24 Apr 2024 at 19:20 | Open on mastodon.ml
Alexey Skobkin

@drq @altext @n0icz
Я потому и подумываю не раздобыть ли в сервер видеокарточку тоже (AMD, естественно - не хочу пердолинга в блобы и поддерживать деньгами того, кто пожрал весь рынок) чтобы и LLM оживились, и картинки можно было генерить.

Уж или и не уж, но AMD в целом давали инструменты и раньше. Более того, можно
вспомнить, что кучу своих технологий они делают открытыми - тот же FreeSync, более старые пакеты для вычислений и компьютерного зрения, FSR, etc.

Просто NVIDIA так отожрала долю, что в первую очередь поддержку везде делали для неё.

Так что тут отчасти вина на разработчиках софта, которые либо приоритизировали Nvidia, либо проектировали свою архитектуру под неё чтобы потом "ой а как нам теперь на других работать".

@drq @altext @n0icz
Я потому и подумываю не раздобыть ли в сервер видеокарточку тоже (AMD, естественно - не хочу пердолинга в блобы и поддерживать деньгами того, кто пожрал весь рынок) чтобы и LLM оживились, и картинки можно было генерить.

Уж или и не уж, но AMD в целом давали инструменты и раньше. Более того, можно
вспомнить, что кучу своих технологий они делают открытыми - тот же FreeSync, более старые пакеты для вычислений и компьютерного зрения, FSR, etc.

24 Apr 2024 at 19:25 | Open on lor.sh
Dr. Quadragon ❌ replied to Alexey

@skobkin

> Более того, можно
вспомнить, что кучу своих технологий они делают открытыми - тот же FreeSync, более старые пакеты для вычислений и компьютерного зрения, FSR, etc.

Не, это я в курсе, за это Лизе Су вообще решпект без меры.

Но тем не менее, с вычислениями ситуация долго была очень так себе.

@altext @n0icz

24 Apr 2024 at 19:30 | Open on mastodon.ml
Go Up