Небольшая модель ИИ, обучающаяся на ограниченном наборе данных (TRM), превзошла некоторые из LLM в тесте «Корпус абстрактного мышления для искусственного интеллекта общего назначения».
Этот тест включает визуальные логические головоломки, призванные сбить с толку большинство моделей ИИ. TRM-модель довольно сложно сравнить с LLM, поскольку она узкоспециализированная, превосходя других только в решении логических головоломок, как судоку или лабиринты. Она не понимает язык и не генерирует слова. Ее особенность заключается исключительно в успешном решении головоломок при ограниченном объеме вычислительных ресурсов. Она в 10 тыс. раз меньше передовых LLM.
«Это увлекательное исследование других форм рассуждений, которые когда-то могут быть использованы в ИИ. Часто методы очень хорошо работают на моделях небольшого размера, а потом просто перестают работать при увеличении масштаба», — отмечает исследователь машинного обучения Конг Лу.
Автор исследования из Института передовых технологий Samsung в канадском Монреале Алексия Жоликер-Мартино подчеркивает, что ее модель опровергает утверждение, будто только Большие языковые модели, на обучение которых тратят миллионы долларов, способны решать сложные задачи. Она выложила код собственной TRM на Github.
Большинство моделей ИИ для рассуждений построены на основе LLM, которые предсказывают следующее слово в последовательности, используя миллиарды параметров. Они отлично запоминают закономерности из миллиардов проанализированных материалов, однако это может сбивать их с толку при решении непредсказуемых логических задач.
Вместо этого TRM использует другой подход. Алексия Жоликер-Мартино вдохновлялась методикой, известной как иерархическая модель рассуждений, разработанной Sapient Intelligence из Сингапура.
Этот метод улучшает ответ путем нескольких итераций. TRM действует аналогично, имея всего 7 млн параметров, тогда как иерархическая модель использует 27 млн, а LLM — миллиарды и триллионы параметров. Под каждый тип головоломки Жоликер-Мартино обучала собственную ИИ-модель на почти тысяче примеров, представленных в виде числовой строки.
Во время обучения модель угадывает решение и сравнивает его с правильным ответом, уточняет собственные предсказания и повторяет все сначала. Такой подход помогает ей изучать различные стратегии для улучшения предсказаний. Аналогичный подход TRM применяет впоследствии к головоломкам, с которыми до этого не сталкивалась, последовательно уточняя ответ до 16 раз, прежде чем окончательно сгенерировать его.
По результатам обучения на данных теста ARC-AGI она смогла правильно угадать последовательность визуальных логических головоломок в 40% случаев в течение первой итерации. В более сложном тесте ARC-AGI-2 TRM набрала 6,3%, опередив более крупную o4-mini от OpenA и другие модели.
СпецпроектыДатацентр «ПАРКОВИЙ» показав платформу на Red Hat OpenShift. Як працює контейнерне рішення в українських хмарахУстановка зберігання енергії: де буде вигідною, яку вибрати та чим вона відрізняється від ДБЖ
Кроме этого TRM обладает способностью к самокорректировке, что остается сложным для большинства LLM. Далее ученые планируют проверить, насколько успешной она будет в решении задач по физике, например, для формирования правил организации квантовых экспериментов по созданию различных желаемых состояний.
Результаты исследования опубликованы на сервере препринтов arXiv
Источник: Nature