Gregory's Server
Базовая идея была в том, чтобы использовать громкость/частотный спектр аудиопотока в качестве драйвера для анимации (отдельно на каждого говорящего). Дополнительная идея - видеотекстура на базе данных, извлекаемых из соответствующего видеопотока.
Опять же, я не сомневаюсь, что это *может быть* реализовано, но меня беспокоит вопрос избыточности средств и оптимизации.
@th3rdsergeevich
В варианте с веб-расширением я пока не пробовал хайджек аудио-потока, но точно видел, что в интерфейсе Jitsi уже есть анимация громкости участника, с которой можно считывать показатель и делать новую. Не уверен, что аудио-поток оверлею вообще нужен для чего-то другого, поэтому не задумывался о хайджеке. Можно попыхтеть с <audio> элементами... если найдутся.
Видео-потоки показа экрана и вебки, которые участники добавляют, я бы попробовал перехватить покадровым взятием blob-ов на элементах <video>, но пока больше вопросов, чем ответов. Во всяком случае, это минует накладные HTTP-запросы...
Насчёт умения в 3D и веб-морд, three.js и другие приличные либы приходят на ум. Оптимизация вроде чин по чину давно.
@th3rdsergeevich
В варианте с веб-расширением я пока не пробовал хайджек аудио-потока, но точно видел, что в интерфейсе Jitsi уже есть анимация громкости участника, с которой можно считывать показатель и делать новую. Не уверен, что аудио-поток оверлею вообще нужен для чего-то другого, поэтому не задумывался о хайджеке. Можно попыхтеть с <audio> элементами... если найдутся.