@drq сильно зависит от задачи, как стоявшей при создании модели, так и потом поставленной для этой модели, но вообще, в случае универсальной, на все руки модели, лучше получать ответ и какую-то метрику уверенности в нём, и отсеивать-маркировать барахло уже на постобработке (на этом же этапе можно ответ заменить и на "а не знаю", если уверенность ни к черту), чем просто получить отказ и всё тут, примерно это и делала ранняя интеграция модели в bing, посреди ответа вдруг всё удаляя и заменяя на "слушай, а вообще давай не будем, а".

Где мы возьмём какую-то метрику уверенности? Уже все давно изобретено и даже доступно во многих апи и софте для инференции моделек - logprobs! https://www.refuel.ai/blog-posts/labeling-with-confidence

Почему почти никто никак не задействует это ни в одном из ходовых UIев, и только в презентациях на конференциях иногда это используется для понятности и наглядности?

Вот это для меня - страшная загадка.