Слегка поковыряли местный чатбот. Теперь он:
а) переводит вопрос на английский, спрашивает LLM-бекенд, переводит ответ на русский.
б) на бекенде запущена llama3:instruct, пока вариант 8B (доедет железо — посмотрим, может и 70B будет). Причём по ошибке поставили q4 вместо q8. Таки работает. В комплекте с п. а) — лучше, чем saiga-mistral. #лытдыбр #работа