Gregory's ServerТут ведущий рассказывал, что нейронки обучают на синтетических данных.
...нейронка, обучающаяся на нейронке, обученной на нейронке, где-то я вроде складывал тут статью про инбридинг нейронок
 3 comments
 @Chia Я видел открытые текстовые модели, которые получали путем скрещивания других моделей. Вот это больше походит на селекцию, если мы хотим биологическую аналогию.  @Chia так вроде несколько компактных открытых ллмок так и обучали, на результатах ChatGPT...да, OpenAI это не понравилось, но за 300$ получить неплохой клон, способный запускаться на потребительском GPU — довольно крутой результат |
Нейросарафанное радио :)
Вообще, вопрос интересный. Обучить LLM достаточно широкого профиля сейчас заградительно дорого.