Пришлось упаковывать все в anyhow и свои ошибки, а потом упаковывать anyhow в свою ошибку так как вебсерверу нужно что бы ошибка реализовывала трейт, который отсутствует в anyhow и наконец, для того что бы формировать красивый ответ, в трейте, который реализует ответ я расковыриваю бутерброд обратно. Внутри так себе, зато в коде не надо много писать каждый раз.