На уровне протокола городить ничего не требуется, достаточно того чтобы инстансы ограничили возможность слать сообщения слишком часто и при подозрительной активности блокировать. или заставлять вводить капчу. Ну а на принимающей стороне решение проблемы можно отдать полностью в руки пользователя: кто хочет пусть включит настройку принимать сообщения только от друзей, кто хочет может блокировать кого хочеть, хоть инстансы целиком или настраивать гибко фильтры, но эти инструменты движки должны реализовать у себя. Протокол тут вообще ни при чём.