По совету Гали вкрутил thin-plate spline (пара строк SciPy), стало получше, кажется.