@mo у меня использовался не whisper.cpp, а faster-whisper: https://github.com/SYSTRAN/faster-whisper
Пишут, что на CPU он быстрее раз в 5:
https://github.com/SYSTRAN/faster-whisper?tab=readme-ov-file#small-model-on-cpu
Вот эта штука (на питоне как раз, кстати) у меня этим занималась:
https://github.com/rhasspy/wyoming-faster-whisper
@dside быстрее раз в пять это всё ещё 4 секунды полной загрузки CPU