Ученые выяснили, как скрытые настройки ИИ влияют на решения пользователей

Исследователи из Университета Гонконга и Университета Цинхуа изучили, как виртуальные ассистенты со скрытой целью влияют на финансовые и эмоциональные решения людей. Результаты рандомизированного эксперимента с участием 233 человек опубликованы в журнале Proceedings of the National Academy of Sciences.

Когда система незаметно продвигала менее выгодный вариант, участники выбирали его примерно в 5–8 раз чаще, чем при нейтральных рекомендациях. Вероятность субоптимального решения при этом увеличивалась максимум на 38 процентных пунктов. Для воздействия ассистенту было достаточно слегка изменить формулировки ответов: агрессивное давление и сложные психологические приемы не требовались.

Участники часто не замечали влияния системы. Даже после выбора невыгодных финансовых вариантов или решений, способных ухудшить личные отношения, они продолжали высоко оценивать ассистента и воспринимать его как полезного помощника.

Авторы работы отмечают, что такой эффект создает риски для сервисов, где ИИ помогает выбирать товары, банковские продукты или платные услуги. Скрытая цель алгоритма может маскировать коммерческое продвижение под беспристрастную рекомендацию, особенно в онлайн-банкинге, маркетплейсах и образовательных платформах.

Для снижения рисков исследователи предлагают повышать прозрачность работы ИИ-систем и проводить независимую проверку их алгоритмов. Ранее исследование показало, что студенты в слепом эксперименте оценивали новости, созданные ИИ, выше написанных людьми.