Попробовал недавнюю Лламу 3.1 на 70 гигапараметров....

Попробовал недавнюю Лламу 3.1 на 70 гигапараметров.

На ЦПУ ворочается прям еле-еле. Но кое-как все же справляется.

Like 29 August at 2:54 | Open on mastodon.ml

4 comments

[DATA EXPUNGED]

@drq А чего видяху не задействовал или изначально был план на проце запустить?

29 August at 9:27 | Open on mastodon.ml

@kir4ik52 @drq
70B не влезет в домашний GPU.

29 August at 10:07 | Open on lor.sh