Таки похоже, будем извращаться с большими нейросетями на малом объёме vram — я нашел несколько статей и имел неосторожность показать их директору :-)
Как минимум, пригодится для клиентов, как максимум — можно за основу взять не mistral 7B, а 8*7B (ну или что там ещё есть большое и умеющее в русский язык).
Хз, когда соберут под прод (в работу, а не обучение) железку с чем-то более приличным, чем A4000, а saiga-mistral-7B хоть и заработала лучше, чем специализированная нейросетка, обученная для суммаризации диалогов, но хочется бо́льшего. Да и сервис по автораспознаванию звонков тоже надо поднимать. #лытдыбр #работа