Чат-боты пока не умеют признавать свои ошибки, показало исследование

В процессе эксперимента участников попросили оценить свои шансы на успех как до выполнения заданий, так и после их завершения. Результаты показали, что и люди, и ИИ имеют тенденцию переоценивать свои способности в начале, однако ключевое отличие заключается в оценке после неудач. Люди, как правило, снижают свою самооценку после промахов, тогда как ИИ не демонстрирует подобного поведения.
Ведущий автор исследования, Трент Кэш, поясняет: «Если, например, участники заявляли, что ответят правильно на 18 вопросов, а на деле ответили на 15, то их последняя оценка обычно составит около 16. В то время как ИИ, несмотря на неудачи, продолжает проявлять избыточную уверенность». Оригинальная цитата звучит так: «Say the people told us they were going to get 18 questions right, and they ended up getting 15 questions right. Typically, their estimate afterwards would be something like 16 correct answers. The LLMs did not do that. They tended, if anything, to get more overconfident, even when they didn’t do so well on the task.
Наиболее ярко эта проблема проявилась у языковой модели Gemini, которая, несмотря на правильное определение менее одного рисунка из двадцати, все же утверждала, что в следующий раз сможет справиться с 14 заданиями. Профессор Дэнни Оппенгеймер, соавтор работы, отмечает, что причина такого поведения заключается в отсутствии у ИИ метакогнитивных навыков — способности анализировать свои собственные мыслительные процессы.

Исследование проводилось с применением постоянно обновляемых версий популярных языковых моделей, таких как ChatGPT, Bard/Gemini, Anthropic Sonnet и Haiku, что указывает на системную природу выявленной проблемы. При этом модель Sonnet продемонстрировала меньшую степень самоуверенности по сравнению с другими системами.

Ученые рекомендуют уточнять уровень уверенности ИИ при взаимодействии с ним, особенно по важным вопросам. Несмотря на то, что ИИ может не всегда адекватно оценивать свои возможности, его признание низкой уверенности может служить индикатором. Исследователи также предполагают, что увеличение объемов данных для обучения может помочь решить эту проблему.