Оказывается таки да, рускулайт серде не поддерживает кортежные структуры, там имен полей нет, но почему не поддерживает их в качестве значений, загадка. Нашел самое короткое решение

#[serde(from = "String")]

В итоге можно совсем мало потом написать, реализовать From<String> и много гетов можно не писать. При этом если тип внешний то можно десериализатор накатать все же. Это самое короткое, что можно так как для серде тоже надо. Короче увы нет решения кажется.