Метаанализ о влиянии ChatGPT в образовании отозван спустя год

Поспешное исследование

Метаанализ, посвящённый влиянию чат-бота ChatGPT на учащихся, который утверждал о «значительном положительном эффекте», был отозван. Несмотря на то, что исследователи быстро выявили серьёзные методологические проблемы, журнал отреагировал на них лишь год спустя.

В мае 2023 года (предположительно, исходная дата «май 2025» является опечаткой, учитывая контекст отзыва) журнал «Humanities and Social Sciences Communications» опубликовал метаанализ, выполненный китайскими исследователями Цзинь Ваном и Вэньсяном Фанем. В работе изучались эффекты использования чат-бота OpenAI в школьном образовании, и утверждалось, что он оказывает «значительное положительное влияние на улучшение академической успеваемости». Однако, спустя почти год после публикации, подтверждающей серьёзность исследования, журнал, издаваемый гигантом Springer Nature, принял решение отозвать статью.

«Редакция (член команды, управляющей журналом) приняла решение отозвать эту статью из-за опасений относительно расхождений в метаанализе. Эти проблемы подрывают доверие редакции к достоверности анализа и к сделанным на его основе выводам», — поясняется в уведомлении об отзыве, опубликованном 22 апреля. «Авторы не ответили на запросы относительно отзыва», — добавляет журнал.

Статья, цитированная более 500 раз

Тем временем, по данным Google Scholar, этот метаанализ был процитирован более 500 раз в различных научных работах (как рецензируемых, так и нет). Если эти исследования в значительной степени опираются на данный метаанализ, их авторам также придётся пересмотреть надёжность своих выводов. Например, на него ссылались ещё в статье, опубликованной в феврале этого года в журнале Scientific Reports, также издаваемом Springer Nature.

Тем не менее, критика появилась довольно быстро. Так, комментарий с указанием возможных проблем был размещён на платформе Pubpeer (позволяющей выявлять недостатки в уже опубликованных научных статьях) уже в июле прошлого года.

Норвежские исследователи забили тревогу