11.05.2025Admin Admin

Absolute Zero: новый путь к обучению LLM без данных

Сотни миллиардов токенов и тысячи аннотаторов — классический рецепт «прокачки» больших языковых моделей. Но что, если данных больше нет, а люди уже не успевают придумывать новые задачи? Absolute Zero — метод, при котором модель учится рассуждать вообще без каких либо внешних примеров. Она сама изобретает себе задачник, сама проверяет решения и награждает себя, пока не станет заметно умнее в коде и математике.

Как это устроено? Внутри Absolute Zero живёт двуликий «ИИ‑Орфей»: Proposer придумывает новую головоломку на Python, а Solver пытается её разгадать. Исполняемый код служит беспристрастным судьёй: если вывод совпадает с ожиданием — балл, если нет — штраф. Чтобы самообучение не буксовало, задачи делятся на три жанра:

Deduction — классический «что напечатает программа? ».Abduction — угадай вход, зная код и выход.Induction — напиши программу, видя лишь примеры «вход–выход».Эта троица закрывает почти весь спектр логического вывода: от линии вперёд до поиска недостающего звена и обобщения правил. Запустив цикл самоигр всего на несколько сотен шагов, исследователи подняли рейтинг Qwen‑Coder‑14B в код‑бенчмарках до 63.6 %, а в математике — с 20 до 43 %. Более того, «кодовый» базис оказался отличным ускорителем: навыки программирования, видимо, служат скелетом, к которому легче нарастить мышечную массу рассуждений.

При решении задач модель пишет комментарии‑планы, словно программист‑репетитор, а в режиме abduction перебирает гипотезы, проверяя их тут же в памяти — чистая научная методология, только в ускоренном темпе. Главное открытие Absolute Zero не в рекордных цифрах, а в принципиальной демонстрации: LLM может стать заметно сильнее, вооружившись лишь средой, где её ответ можно проверить автоматически. Для кода таким арбитром служит интерпретатор, для математики — символный движок. Найдём достаточное «околореальное» окружение — и станет возможным бесконечный рост модели без человеческой ложки данных.

Absolute Zero превращает идею AlphaZero из мира шахмат в мир обобщённого рассуждения. Срабатывает простой, но мощный механизм: генерируй — решай — оценивай. Пока это работает «в песочнице» Python‑программ, но логика не меняется: любой домен, где существует надёжный, формализуемый тест, может стать новой ареной для безданных самоэволюций ИИ. Значит, рубеж «кончились данные» смещается, а вместе с ним — и наши представления о скорости грядущих интеллектуальных прорывов.

Савва Блинов | AI-аналитик АО «Инноцифра»

#ИИ_экспертиза