Оказалось, что у меня на сервере shadowsocks никогда не была включена поддержка udp 🤦♂️
Читайте правильные man-ы, дамы и господа, а не рандомные комментарии в сети.
shadowsocks-libev некорректные опции в конфиге молча игнорирует.
Теперь у меня работают звонки в телеге и наверное много чего ещё.