Дефицит исполнительного контроля у ИИ: тест Струпа выявил фундаментальную слабость моделей
Новое исследование показало, что ведущие большие языковые модели успешно справляются с классическим тестом Струпа на коротких последовательностях, но их точность резко падает при увеличении длины списка. Это указывает на дефицит исполнительного контроля, способности подавлять автоматические реакции и сохранять фокус на инструкции. В отличие от человека, ИИ «теряет концентрацию» на длинных задачах, что имеет важные последствия для понимания различий между искусственным и человеческим вниманием.
Тест Струпа — это классический нейропсихологический инструмент, разработанный Джоном Ридли Струпом в 1935 году, который оценивает исполнительный контроль, внимание, способность подавлять автоматические реакции и когнитивную интерференцию.
В стандартной версии участнику предъявляют слова-названия цветов (например, «красный», «синий», «зелёный»), напечатанные цветными чернилами: иногда цвет шрифта совпадает со смыслом слова (конгруэнтные стимулы), а чаще — не совпадает (инконгруэнтные). Задача — как можно быстрее назвать цвет чернил, игнорируя автоматическое чтение самого слова. У большинства людей чтение слов является высокоавтоматизированным навыком, поэтому при конфликте возникает задержка реакции, увеличивается время ответа и растёт количество ошибок. Этот эффект ярко демонстрирует, как мозг решает задачу подавления доминантного импульса в пользу текущей инструкции, и широко используется в исследованиях внимания, СДВГ, возрастных изменений, стресса и для сравнения человеческого познания с работой ИИ.
В тесте ИИ получали списки слов-названий цветов, напечатанных разными цветами, и должны были называть цвет шрифта, игнорируя смысл слова. На коротких списках (5 элементов) точность достигала 91% (GPT-4o). При увеличении до 10 элементов она падала до 57%, а на 40 элементах — до 15%. Аналогичное резкое снижение наблюдалось у Claude 3.5 Sonnet (до 24% на длинных списках) и других моделей. Особенно плохо модели справлялись, когда в одном списке смешивались согласованные и несогласованные стимулы.
Исполнительный контроль, это набор когнитивных процессов, которые помогают регулировать внимание, подавлять отвлекающие импульсы и удерживать цель.
Почему это происходит
В человеческом мозге исполнительные функции (преимущественно префронтальная кора) активно подавляют автоматическое чтение слов и поддерживают фокус на инструкции. ИИ-модели, основанные на трансформерах, обучаются на огромных объемах текста, где чтение слов является доминантная задача. При длинных последовательностях механизм внимания модели «устает» и перестает эффективно подавлять эту автоматическую тенденцию.
ИИ ведет себя как человек с СДВГ
Применительно к ИИ — длинные контексты, многошаговые задачи, смешанные инструкции. У людей аналогичные трудности чаще возникают при СДВГ, хроническом стрессе, усталости, возрастных изменениях или дефиците сна.
В реальной жизни слабость исполнительного контроля приводит к ошибкам в сложных задачах: пропуску важных деталей в работе, снижению продуктивности при многозадачности. Для ИИ это ограничивает надежность в медицине, юриспруденции, образовании и других областях, где требуется устойчивое внимание на протяжении длинных последовательностей.
Исходный материал можно прочитать тут.