Искусственный интеллект угрожает научному издательскому делу

Искусственный интеллект угрожает научному издательскому делу

Прошлым летом научный руководитель Питера Дегена, докторанта, столкнулся с необычной проблемой: одна из его статей стала получать чрезмерно большое количество цитирований. Цитирование — это своего рода «валюта» в академическом мире, однако в данном случае что-то было не так. Опубликованная в 2017 году, эта работа, посвященная оценке точности статистического анализа эпидемиологических данных, за годы получила несколько десятков ссылок в других исследованиях. Теперь же на неё ссылались сотни раз каждые несколько дней, что вывело её в число самых цитируемых работ в карьере профессора. Хотя другой учёный мог бы быть в восторге, научный руководитель Дегена поручил ему провести расследование.

Наводнение ИИ-сгенерированных статей

Деген, научный сотрудник Центра воспроизводимой науки и синтеза исследований Цюрихского университета, обнаружил, что все ссылающиеся работы имели схожую структуру. Как и оригинал, они анализировали исследование «Глобальное бремя болезней» — общедоступный набор данных, собранный Институтом показателей и оценки здоровья при Вашингтонском университете. Однако эти работы использовали набор данных для создания, казалось бы, бесконечного потока прогнозов: о будущей вероятности инсульта среди взрослых старше 20 лет, рака яичка у молодых людей, падений среди пожилых людей в Китае, колоректального рака у людей, потребляющих минимальное количество цельнозерновых продуктов, болезни X среди населения Y и так далее.

В ходе поиска на платформе GitHub кода, который мог бы использоваться для такого анализа, Деген перешел по нескольким ссылкам и попал на китайский сайт социальных сетей Bilibili. Там он обнаружил компанию из Гуанчжоу, предлагающую обучающие материалы по созданию публикабельных исследований менее чем за два часа с помощью её программных инструментов и ИИ-помощника для написания текстов. Эти исследования не отличались высоким качеством. Учёные, проанализировавшие часть работ о головных болях, обнаружили множество ошибок и искажений. Однако они также не были настолько явно ошибочными, как ИИ-сгенерированные работы недавнего прошлого, что усложняло их отсеивание.

«Это огромная нагрузка на систему рецензирования, которая и без того работает на пределе возможностей», — заявил Деген. Он добавил, что «публикуется слишком много статей, а рецензентов не хватает, и если большие языковые модели значительно упростят массовое производство работ, это приведет к коллапсу системы».

Оптимисты в отношении генеративного ИИ возлагают большие надежды на его способность совершать будущие научные прорывы — ускорять открытия, устранять большинство видов рака, — но в настоящее время технология подрывает одну из основ научных исследований, наводняя редакторов и рецензентов бесконечным потоком статей. Парадоксально, но чем лучше технология справляется с созданием компетентных работ, тем хуже становится кризис.

Эволюция «фабрик статей» и роль ИИ

Последнее десятилетие академическое издательское дело сталкивается с так называемыми «фабриками статей» (paper mills) — компаниями чёрного рынка, которые массово производят работы и продают соавторские места учёным, врачам или другим специалистам, стремящимся получить конкурентное преимущество, имея опубликованные исследования в своих резюме. Это была игра в «кошки-мышки», когда издательства, часто под давлением «научных детективов» — исследователей, специализирующихся на выявлении мошеннических работ, — закрывали одну уязвимость, но фабрики тут же находили новую. Генеративный ИИ стал находкой для этих фабрик, помогая им обходить детекторы плагиата путем создания полностью новых изображений и текстов. Тем не менее, характерные для технологии «галлюцинации» (вымышленные или неточные данные) позволяли издателям, по крайней мере теоретически, отсеивать большую часть таких работ. На практике статьи всё равно проходили, чтобы впоследствии быть отозванными, когда «детективы» обнаруживали диаграмму крысы с необъяснимо гигантскими гениталиями, помеченными как «testtomcels», или прозу, пронизанную фразами «как ИИ-помощник», которые кто-то забыл удалить.

Но теперь ИИ усовершенствовался до такой степени, что может создавать убедительные работы почти полностью, позволяя отчаявшимся учёным, нуждающимся в публикации, самостоятельно «производить» статьи. Результатом является поток научного «мусора», который угрожает затопить издательское дело, систему рецензирования, распределение грантов и научную систему в её нынешнем виде.

Первые тревожные сигналы

Мэтт Спик, преподаватель аналитики медицинских и биомедицинских данных в Университете Суррея и заместитель редактора журнала Scientific Reports, впервые заметил это явление, получив три подозрительно схожие статьи, анализирующие Национальный обзор здоровья и питания США (NHANES) — ещё один общедоступный набор данных. Он проверил Google Scholar и понял, что это не совпадение: произошло внезапное увеличение числа статей, цитирующих NHANES, которые все следовали схожей формуле, каждая из которых претендовала на обнаружение связи между, например, употреблением грецких орехов и когнитивной функцией или употреблением обезжиренного молока и депрессией.

По словам Спика, «если у вас достаточно вычислительной мощности, вы можете проанализировать все возможные попарные ассоциации и в конечном итоге найти те, о которых еще не писали, а затем просто опубликовать: существует корреляция между тем-то и тем-то». Эти корреляции часто являются вводящими в заблуждение упрощениями явлений со множеством причин или случайными статистическими ошибками. В одном из исследований утверждалось, что количество лет обучения влияет на послеоперационные осложнения грыжи. Спик охарактеризовал это как случайную корреляцию, задаваясь вопросом о практическом применении подобных выводов, например: «Стоит ли мне бросить школу раньше, чтобы избежать послеоперационных осложнений грыжи в будущем?»

Методы обнаружения и новые вызовы

За годы «научные детективы» разработали различные методы выявления недостоверных работ. Некоторые ищут «искажённые фразы» — случаи, когда кто-то пытался обойти детекторы плагиата, пропуская существующую статью через генератор синонимов. Это часто приводит к превращению технических терминов, таких как «обучение с подкреплением», в бессмыслицы вроде «усиление узнавания», что является недавним примером. Другие «детективы» отслеживают дублирующиеся изображения, проводят сетевой анализ авторов или проверяют цитирования на наличие вымышленных публикаций — классический признак использования больших языковых моделей. Спик ищет скопления статей, следующих одному и тому же шаблону при анализе общедоступных наборов данных.

Эти работы не обязательно ошибочны, хотя часто вводят в заблуждение. Они также не являются строго говоря мошенническими. Они просто бесполезны и внезапно стали очень легки в производстве. В прошлом году несколько журналов начали ограничивать подачу статей, анализирующих общедоступные наборы данных, ссылаясь на наплыв избыточных исследований.

Спик опасается, что эти меры могут быть запоздалыми. В последние месяцы ИИ-компании выпустили ряд «агентских» научных помощников, способных анализировать данные, генерировать гипотезы и писать научные работы с высокой степенью автономии. Хотя это и является возможным шагом к цели ускоренной с помощью ИИ науки, эти системы также несут новые риски. Когда исследователи из Университета Карнеги-Меллон тестировали несколько агентских инструментов, они обнаружили, что иногда те изобретали данные или использовали вводящие в заблуждение методы, но эти ошибки были очевидны только при тщательном анализе всего рабочего процесса; конечные статьи выглядели отполированными.

Анонсируя помощника по написанию статей с ИИ в начале этого года, бывший вице-президент OpenAI по науке, Кевин Вейл, предсказал: «Я думаю, что 2026 год для ИИ и науки будет тем же, чем 2025 год стал для ИИ и разработки программного обеспечения». Спик и его коллеги, заинтригованные возможностями инструмента под названием Prism, предоставили ему данные из уже опубликованной статьи, документирующей сроки созревания баклажанов и перцев. Prism проанализировал данные, предложил новый статистический метод, который мог бы быть применен к ним, и написал целую статью с графиками и правильными цитатами.

Спик вспоминает, что они были поражены результатом: «Мы все смотрели друг на друга, осознавая, что это действительно достойная работа!» В отличие от сгенерированных ранее статей, эта не следовала шаблону и не использовала единую известную базу данных. На её создание ушло 25 минут и 50 секунд.

По словам Спика, «становится все сложнее определить момент, когда мы поймем, что таких работ проходит больше, чем мы предполагаем, потому что различия уже не так очевидны». Это вызывает некоторые философские вопросы, такие как: имеет ли значение, кто или что написал статью, если информация точна? И должна ли наука публиковать каждый возможный факт?

Он подчеркнул, что «часть задачи науки — быть фильтром. Предполагается публиковать то, что считается интересным, а не буквально все, что можно найти». «В противном случае, — продолжил он, — наука просто завалит мир данными, независимо от того, представляют ли они собой новые знания или нет, и в среднесрочной перспективе будет почти невозможно отличить значимое от бессмысленного».

Перегрузка системы знаний

Это немедленная практическая проблема, создаваемая ИИ-агентами. Они угрожают перегрузить человеческие системы, которые создают и организуют знания. Финансирующие исследования фонды сталкиваются с потоком предложений, идеально адаптированных под их конкретный грант, не в силах различить, какие проекты представляют собой следующий шаг в многолетней работе, а какие были сгенерированы за считанные минуты. Организаторы конференций, редакторы журналов и рецензенты — все они борются с потоком материалов, которые на первый взгляд кажутся достаточно хорошими, чтобы потребовать внимательного прочтения. Существует огромная и растущая асимметрия между временем, необходимым для создания новой работы, и временем, которое требуется эксперту для её проверки.

Для Марит Моэ-Прайс, главного редактора журнала по международным отношениям Security Dialogue, количество поступающих материалов увеличилось на 100 процентов по сравнению с прошлым годом. Столь же проблематично и то, что все материалы стали довольно хорошими. Исчезли явные «галлюцинации» и незавершенные подсказки; всё внезапно стало связным, хорошо структурированным и стилистически схожим, что затрудняет определение, является ли это полностью сгенерированной статьей, работой опытного учёного или молодого исследователя, использующего ИИ в качестве редактора.

«Основная проблема, с которой мы сталкиваемся, заключается в том, что мошеннические и академические работы сливаются, образуя огромную „серую массу“ статей, которые мы, редакторы, должны анализировать, пытаясь понять: „Что это? Должны ли мы рассматривать это или нет?“» — объяснила Моэ-Прайс.

Одна статья прошла как минимум 10 редакторов и два раунда рецензирования, прежде чем она заметила поддельную цитату — очень правдоподобную, ссылающуюся на нескольких бывших редакторов журнала по теме, о которой они могли бы написать, но никогда этого не делали. Затем она нашла ещё несколько. Моэ-Прайс не знает, на каком этапе редактирования были внесены «галлюцинации», но эта ситуация подчеркнула уровень осторожности, необходимый для обеспечения того, чтобы ничего ложного не было опубликовано. Теперь, когда модели всё чаще цитируют реальные работы, ей приходится проверять, являются ли цитируемые работы теми, которые действительно использовал бы эксперт, поскольку ИИ ещё не освоил различие между канонической литературой и более периферийными работами.

«Это невероятно кропотливая работа, и это обычная часть редакционного процесса. Разница в том, что теперь приходится делать это для всего объема бесполезных материалов, поступающих к нам», — заявила Моэ-Прайс. Она заключила: «Поэтому наша рабочая нагрузка становится непосильной».

Крах системы рецензирования?

Академические работы проходят многоступенчатый процесс рецензирования перед публикацией. Сначала рукописи отбираются на предмет очевидных проблем, затем отправляются редактору журнала, который решает, стоит ли их публиковать. Затем редактор отправляет её ассоциированному редактору с опытом в данной области, который снова проверяет её, прежде чем привлечь двух или трёх специалистов по предмету — «рецензентов» в системе экспертной оценки — для прочтения работы и написания отзывов. Редакторы и рецензенты, как правило, работают бесплатно, уделяя своё время в дополнение к основной академической работе.

Система рецензирования уже испытывала трудности из-за постоянно растущего объема подаваемых материалов, и теперь ИИ увеличивает эти объемы, одновременно затрудняя отсев некачественных работ. Моэ-Прайс теперь тратит больше времени на сортировку статей, прежде чем решить, что отправить на рецензию, а потенциальные рецензенты, сами перегруженные работой, всё реже отвечают. Если раньше она могла отправить четыре запроса и получить три ответа, то теперь ей требуется дюжина попыток, чтобы найти двух человек. Всё чаще она обращается к 20 рецензентам и не получает ответа.

«Это усталость. Академические журналы разрослись, а затем появился ИИ, который помогает всем, мошенникам или нет, генерировать больше и быстрее, поэтому наблюдается массовый рост объема», — объяснила она. «ИИ потенциально способен разрушить издательскую систему в том виде, в каком мы ее знаем», — подчеркнула она.

Журнал Accountability in Research в этом году отметил 60-процентный всплеск количества поступающих статей, по словам Дэвида Резника, заместителя редактора журнала. По иронии судьбы, он сам был завален, вероятно, сгенерированными ИИ статьями о мошеннических академических работах, которые извлекали данные из общедоступной базы организации Retraction Watch.

Он также сталкивается с трудностями в поиске рецензентов. Порой ему приходится отправлять до 20 запросов, чтобы получить всего два ответа, при этом он подозревает, что некоторые из полученных отзывов также сгенерированы искусственным интеллектом. У него есть основания для подозрений: опрос, проведенный издательской компанией Frontiers в прошлом году, показал, что более половины исследователей использовали помощь ИИ в своей рецензионной деятельности.

«Я очень обеспокоен тем, что это напряжение может сломить систему рецензирования», — высказал опасение Резник.

Реформа научной экосистемы

ИИ-агенты появляются в то время, когда качественные фильтры в академической среде уже с трудом справляются с переизбытком статей. Количество публикуемых научных работ экспоненциально выросло в последние годы, согласно анализу данных, опубликованных в Quantitative Science Studies, в то время как число докторов наук, которые могли бы их рецензировать, не увеличилось. К сожалению, авторы исследования связывают этот взрыв продуктивности не с быстрым прогрессом в науке, а с тем, что коммерческие и профессиональные стимулы ориентированы на публикацию максимально возможного количества работ.

Многие журналы перешли на модель «открытого доступа», где они получают доход, взимая с авторов плату за обработку для публикации их работ, в отличие от взимания платы за подписку. В отчётах о доходах издательские компании преподносят недавний 20-процентный или более рост количества подаваемых материалов как положительный показатель роста. Университеты и финансирующие агентства, тем временем, учитывают показатели публикаций исследователей при принятии решений о финансировании или продвижении, что означает, что исследователи находятся под давлением принципа «публикуй или погибнешь». Давлению публиковаться подвержены не только традиционные учёные. Иностранные студенты-медики могут улучшить свои шансы на получение места в программе ординатуры США, имея в своём резюме несколько рецензируемых статей. В Китае у врачей сильные стимулы к публикациям, несмотря на отсутствие времени и ресурсов для проведения исследований, что делает быстрое создание статей привлекательным вариантом.

Если в систему, которая определяет продуктивность количеством написанных работ, ввести бесконечную машину для написания статей, люди будут использовать её для создания множества работ. Исследование, опубликованное в Nature в этом году, показало, что учёные, которые использовали ИИ, публиковали в три раза больше статей и получали почти в пять раз больше цитирований, чем те, кто этого не делал. Они также становились руководителями исследовательских проектов на 1,37 года раньше, чем те, кто не использовал ИИ. Хотя индивидуально это может быть выгодно, принятие ИИ для массового производства статей может быть вредным для науки как коллективного предприятия, помимо изнурения редакторов журналов и рецензентов. То же исследование выявило коллективное сужение фокуса, поскольку эти новоиспечённые продуктивные учёные тяготели к хорошо изученным областям с обильными существующими данными для синтеза ИИ.

Простых решений этой проблемы нет. В 2022 году научная организация STM запустила инициативу под названием Integrity Hub для борьбы с «фабриками статей». С тех пор она ведёт «гонку вооружений» с ИИ, по словам Йориса ван Россума, директора программы проекта — собирая автоматизированные инструменты, которые проверяют на плагиат, затем на искажённые фразы, затем на поддельные цитаты — но теперь группа должна рассмотреть более широкие меры.

«Мы предвидим будущее, где более реалистичным будет требовать от авторов демонстрации подлинности, а не пытаться обнаруживать подделки», — заявил он. То есть, как только мошеннические рукописи станут невозможно обнаружить, издателям придется найти способ, чтобы исследователи доказывали подлинность своей работы — возможно, путём сотрудничества с производителями инструментов для разработки способов нанесения водяных знаков на их изображения, или требуя от исследователей предоставлять больше данных, лежащих в основе их работы, чтобы их можно было анализировать на наличие подозрительных сигналов.

Это повлечет за собой изменение способа проведения исследований в массовом масштабе, и хотя это может остановить откровенное мошенничество, это мало что сделает для снижения проблемы объема. Использование ИИ для помощи в рецензировании, как некоторые предлагают — и некоторые рецензенты уже делают, разрешено это или нет, — порождает множество других возможных рисков. Исследования показали, что модели часто продолжают цитировать отозванные исследования как валидные и пишут поверхностно хорошие рецензии, игнорируя методологические проблемы. ИИ-рецензенты также, похоже, предпочитают тексты, сгенерированные ИИ.

По словам Риза Ричардсона, научного сотрудника Северо-Западного университета, изучающего массовое производство научных работ, «это нерешаемая проблема». Он считает, что «единственный выход из этой ситуации — это изменение принципов присуждения престижа и распределения ресурсов в научном сообществе. До тех пор, пока существует эта гиперконкурентная, крайне несправедливая „крысиная гонка“, где продуктивность и ценность ученых измеряется количеством их публикаций и цитирований, такое поведение будет только стимулироваться».

Винсент Ларивьер, главный редактор журнала Quantitative Science Studies, придерживается схожей оценки. В его издании количество поступающих статей в этом году возросло на 40 процентов.

«Нам необходима реформа того, что ценится в науке», — заявил Ларивьер. Слияние научной продуктивности с количеством публикаций оказало искажающее воздействие на науку, заставляя исследования тяготеть к небольшим, решаемым проблемам, которые гарантированно приведут к чему-то публикабельному. Он отметил, что ИИ мог бы совершить великие дела — помочь в лечении рака, разработать термоядерную энергетику, — но в настоящее время его используют для создания статей с целью «набивания резюме».

«Конечно, нам нужно больше науки, — заключил он, — но нужно ли нам больше статей?»

Общие сведения об IP камере
Для чего нужна спецодежда строителю?
Одежда для занятий спортом на улице весной.
Как пройти процедуру банкротства физическому лицу
Картофель с травами на гриле