Доступ к исходникам сервера сильно переоценён и на него надеются в основном дилетанты. Даже если исходники сервера есть в открытом доступе, у вас нет никаких гарантий что на сервере не модифицированная версия. Криптография не должна надеяться на маршрут и должна предполагать нулевое доверие к среде передачи данных.

Во вскукарекограме e2e работает только в "секретных чатах", которые запрятаны где-то далеко и по дефолту не используются. В групповых чатах это (e2e шифрование) вроде вообще технически сложно реализовать, в Matrix это как-то смогли решить? Если использовать асимметричное шифрование, а в группе 1000 человек, то сообщение придётся отправлять 1000 раз каждому индивидуально, шифруя своё сообщение публичным ключом каждого получателя. Получается не очень эффективно, так что неудивительно что в групповых чатах это мало в каких месенжерах используется.