52% відповідей ChatGPT щодо програмування неправильні — дослідження

В останні роки програмісти стали частіше звертатися за допомогою до чат-ботів, таких як ChatGPT від OpenAI. Це завдало удару по Q&A-сервісу Stack Overflow, який минулого року був змушений звільнити майже 30% персоналу.

Однак, згідно з дослідженням Університету Перд’ю, представленому на конференції Computer-Human Interaction, ChatGPT — не найкращий помічник. З’ясувалося, що більш ніж половина його відповідей щодо програмування неправильні.

Вчені взяли понад 517 питань зі Stack Overflow, задали їх ChatGPT та проаналізували його відповіді. Ось що вони виявили.

  • 52% відповідей містять дезінформацію.
  • 77% більш багатослівні у порівнянні з людськими відповідями.
  • 78% тією чи іншою мірою не відповідають людським відповідям.

Дослідники також опитали 12 програмістів і з’ясували, що ті надають перевагу ChatGPT у 35% випадків і не помічають помилок у його відповідях у 39% випадків. Можлива причина – стиль спілкування чат-бота.

У результаті лінгвістичного аналізу 2 тис. випадково вибраних відповідей ChatGPT з’ясувалося, що вони «формальніші та аналітичніші», а також відображають «менш негативні настрої».

«Наступні напівструктуровані інтерв’ю показали, що ввічлива мова, чітко сформульовані відповіді як з підручників, а також повнота — одні з основних причин, з яких відповіді ChatGPT здаються більш переконливими, тому учасники послабили пильність і знехтували дезінформацією», — пишуть дослідники.

Результати показують, що ChatGPT, як і раніше, має серйозні недоліки. Однак це слабка втіха для людей, звільнених із Stack Overflow, а також програмістів, яким доводиться виправляти в коді помилки, зроблені штучним інтелектом.

БІЛЬШЕ ЦІКАВОГО:

Джерело: Futurism

Читайте также:

Чат-бот, який дозволяє спілкуватися з 60-річною версією себе

Онлайн-шахрайство може перетворитися на битву між штучними інтелектами

Стрімінг, який може створювати серіали за допомогою штучного інтелекту

У Швейцарії створили біокомп’ютер із людських тканин