Создание базовых языковых моделей (LLM) с нуля обычно требует многомиллионных инвестиций и колоссальных объемов данных из интернета, что делает этот процесс доступным только для крупнейших технологических корпораций. Исследователи из компании Sapient представили HRM-Text — решение, которое радикально меняет экономику разработки ИИ. Благодаря использованию иерархической рекуррентной модели (HRM) вместо стандартной архитектуры Transformer, специалистам удалось значительно сократить затраты на вычислительные мощности.
Отказ от стратегии «грубой силы»
Современный подход к обучению LLM во многом полагается на избыточность: нейросети заставляют обрабатывать триллионы слов из открытых источников, чтобы они косвенно учились логике и рассуждению. В Sapient подчеркивают, что это приводит к огромным тратам ресурсов на запоминание ненужной информации. Архитектура HRM-Text работает иначе, разделяя вычисления на два уровня:
- Медленный стратегический слой (H-модуль), отвечающий за сохранение глобального семантического контекста.
- Быстрый исполнительный слой (L-модуль), который занимается локальным уточнением данных.
В отличие от традиционных моделей, HRM-Text обучается исключительно на парах «инструкция — ответ». Это максимально приближено к реальным задачам бизнеса, где от системы требуется конкретный результат, а не просто предсказание следующего слова в тексте.
Технологические инновации и стабильность
Переход к рекуррентным циклам при работе с языком часто сопровождается математической нестабильностью — так называемым «взрывом градиентов». Для решения этой проблемы разработчики внедрили два ключевых новшества:
- MagicNorm — специализированная технология нормализации, сохраняющая стабильность внутренних сигналов нейросети при многократных циклах обработки.
- Метод «разогрева» — постепенное усложнение логических цепочек в процессе обучения, начиная с коротких последовательностей и переходя к глубоким рассуждениям.
Кроме того, авторы проекта отказались от стандартного обучения на «сыром» тексте. Модель получает вознаграждение только за выполнение итоговой задачи, что заставляет её развивать внутренние механизмы логики, а не просто копировать последовательности слов.
Результаты тестирования и экономическая эффективность
Исследователи создали компактную модель HRM-Text с 1 миллиардом параметров. Она была обучена с нуля всего на 40 миллиардах токенов (единиц текста), что в десятки и сотни раз меньше наборов данных, используемых для популярных моделей вроде Llama или Qwen.
Показатели эффективности HRM-Text на отраслевых тестах:
- MMLU (общие знания): 60,7%
- GSM8K (математические задачи): 84,5%
- MATH (сложная математика): 56,2%
Эти результаты сопоставимы или превосходят показатели моделей, имеющих от 2 до 7 миллиардов параметров. При этом стоимость обучения HRM-Text составила примерно 1500 долларов. Процесс занял 1,9 дня на кластере из 16 графических процессоров (GPU). Для сравнения: обучение конкурентов требует в 96–432 раза больше вычислительных ресурсов.
Будущее корпоративного интеллекта
Как отмечают эксперты, успех HRM-Text доказывает, что нейросети не обязательно «запоминать весь интернет», чтобы обладать развитой логикой. Для бизнеса это открывает возможность создания собственных «интеллектуальных ядер», оптимизированных под конкретные задачи — от финансового анализа до проверки нормативных документов.
По словам руководства Sapient, текущая версия модели является доказательством концепции. Она не предназначена для прямой замены универсальных чат-ботов в формате «из коробки», но представляет собой мощный фундамент для инженерных команд. В будущем компании смогут не покупать доступ к внешним гигантам ИИ, а владеть собственными компактными и эффективными моделями, работающими в закрытом и контролируемом контуре.
12.06.2026