Стартап Goodfire представил инструмент для отладки нейросетей

Стартап Goodfire представил инструмент для отладки нейросетей

Сан-францисская компания Goodfire анонсировала выпуск платформы Silico, предназначенной для детального анализа и настройки внутренних параметров больших языковых моделей (LLM) в процессе их обучения. Разработка призвана перевести создание искусственного интеллекта из области эмпирических догадок в сферу точного проектирования.

Механистическая интерпретируемость как инструмент разработки

Основная задача Silico — внедрить методы так называемой «механистической интерпретируемости». Этот подход позволяет исследователям изучать внутреннюю структуру модели, отслеживая активность нейронов и их взаимосвязи при выполнении конкретных задач. Goodfire стремится сделать доступными технологии, которые ранее использовались только узким кругом передовых лабораторий, таких как OpenAI, Google DeepMind и Anthropic.

  • Возможность настройки параметров модели непосредственно во время обучения.
  • Автоматизация процессов отладки с помощью интеллектуальных агентов.
  • Поиск и устранение причин нежелательного поведения моделей, включая галлюцинации.
  • Возможность корректировки ответов через активацию или подавление определенных нейронных путей.

Точная настройка вместо случайного подбора

На текущем этапе развития ИИ разработчики часто не до конца понимают, как именно принимаются решения внутри нейронных сетей. Специалисты Goodfire отмечают, что существующая индустриальная практика — наращивание вычислительных мощностей и объемов данных — не всегда гарантирует предсказуемость результата. Silico позволяет заглянуть внутрь модели и скорректировать логику её работы на фундаментальном уровне.

В ходе тестирования исследователи обнаружили, что нейросети могут принимать этические решения, исходя из различных контекстов. Например, при анализе ответа на вопрос о раскрытии информации о дефектах алгоритма, разработчики смогли изменить решение модели с отрицательного на положительное, просто активировав нейроны, отвечающие за прозрачность и честность. Подобным образом можно устранять логические ошибки, возникающие из-за неверных ассоциаций в обучающих данных — например, когда нейросеть путается в числовых последовательностях под влиянием специфических источников.

Мнение экспертного сообщества

Научное сообщество с интересом отнеслось к появлению Silico. Леонард Береска, исследователь из Амстердамского университета, отмечает, что инструмент может стать эффективным подспорьем для компаний, которые не имеют возможности содержать крупные штаты узкопрофильных специалистов по интерпретируемости. При этом эксперты подчеркивают: несмотря на стремление перевести ИИ в формат инженерной дисциплины, текущие методы все еще содержат элемент случайности, и технология не является универсальным решением всех проблем.

Инструмент Silico ориентирован на разработчиков, работающих с открытыми моделями. Goodfire планирует предоставлять доступ к платформе на коммерческой основе, адаптируя условия под запросы конкретных заказчиков. Ожидается, что это позволит небольшим компаниям создавать более надежные и безопасные нейросетевые продукты, пригодные для использования в критически важных отраслях, таких как медицина или финансовый сектор.

Как выбрать первое авто
Скол на лобовом стекле: что делать в данной ситуации
Баленсиага в мире кроссовок: искусство роскоши и уникальности
Чем отличается хвойная фанера от березовой
Обзор актуальных новостей технологий и кибербезопасности