Оказывается uWSGI умеет в авторелоад!

Надо было всего лишь дописать в .ini файл
touch-reload = /etc/searxng/settings.yml