@BeiZero в epub можно внедрить формулу на MathML, и любой нормальный ридер ее отобразит. Это часть стандарта epub 3.0
https://idpf.org/epub/30/spec/epub30-contentdocs.html#sec-xhtml-mathml
(и это не считая других способов это сделать, вроде внедрения SVG)
@BeiZero про MathML я погорячился :( куча ридеров его не поддерживают.
Способ с SVG, тем не менее, должен работать, если правильно выставить размер, чтобы он был привязан к размеру текста. Да и просто шрифты и стили, как те же MathJax и KaTeX делают для web-страниц.
@turbobureaucrat @strizhechenko