Petals — это проект, который позволяет вам пользоваться большими языковыми моделями в режиме совместной работы с другими пользователями распределенной сети. Вы можете генерировать тексты, адаптировать модели под свои цели и использовать любые методы и техники, не загружая всю модель на свой компьютер. Petals работает быстрее, чем традиционное облачное вычисление, и поддерживает различные архитектуры моделей. Например, вы можете опробовать самую большую из доступных на сегодняшний день языковых моделей с открытым исходным кодом — LLaMA 2 70B. Petals доступен прямо сейчас в бесплатном Google Colab или вы можете установить его на свой компьютер.
Удивительно, но даже мне удалось завести это чудо в Google Colab без особого труда ))