@faizov шедевральный костыль:
> "build": "react-scripts build && cp build/index.html build/404.html"

Тут, конечно, надо в себе задушить внутреннего перфекциониста, который будет возражать против выдачи работающего приложения с кодом 404, но работать оно будет 🤷