Попробовал недавнюю Лламу 3.1 на 70 гигапараметров....

Попробовал недавнюю Лламу 3.1 на 70 гигапараметров.

На ЦПУ ворочается прям еле-еле. Но кое-как все же справляется.

Like 29 Aug 2024 at 2:54 | Open on mastodon.ml

4 comments

[DATA EXPUNGED]

@strizhechenko ну, прежде всего хочу ее юзать как помощь в кодинге/рефакторинге. Ollama по дефолту крутит на CPU.

Жрет где-то 45 гигов памяти, и все доступные ядра процессора.

Что-то легче - пробовал, например 8b. Крутится гораздо оперативнее, но и ответы менее детальные.

29 Aug 2024 at 11:23 | Open on mastodon.ml

[DATA EXPUNGED]

@strizhechenko Проц Ryzen 5 3600, 6 ядер, 3.5 ГГц, памяти 128 гигов, 2666 МГц.

29 Aug 2024 at 12:17 | Open on mastodon.ml

@drq А чего видяху не задействовал или изначально был план на проце запустить?

29 Aug 2024 at 9:27 | Open on mastodon.ml

@kir4ik52 @drq
70B не влезет в домашний GPU.

29 Aug 2024 at 10:07 | Open on lor.sh