ПолiтДумка

Розробники найвідомішого штучного інтелекту створили нейромережу, що критикує ChatGPT

30 июня
15:15 2024

Компанія OpenAI представила нову модель штучного інтелекту CriticGPT, призначену для виявлення помилок у коді, згенерованому ChatGPT. Нейромережа буде використовуватися як алгоритмічний помічник для тестувальників, які перевіряють програмний код, створений ChatGPT, інформує Ars Technica.

«CriticGPT, заснований на сімействі великої мовної моделі GPT-4, аналізує код і вказує на потенційні помилки, полегшуючи спеціалістам виявлення недоліків, які могли б залишитися непоміченими через людський фактор», — заявили у компанії.

Дослідження OpenAI, опубліковане у рамках роботи «LLM Critics Help Catch LLM Bugs», показало, що в 63% випадків аннотатори надавали перевагу критиці CriticGPT над людською. Команди, які використовували CriticGPT, створювали повніші відгуки та знижували рівень конфабуляцій (хибних фактів і галюцинацій — ред.). Модель була навчена на наборі даних з навмисно внесеними помилками, що дозволило їй розпізнавати різні типи помилок у коді.

CriticGPT виявився здатним вловлювати як навмисно внесені баги, так і природні помилки в коді, згенерованому ChatGPT. Для цього був розроблений новий метод «Force Sampling Beam Search» (FSBS), який допомагає моделі писати детальні огляди коду, регулюючи глибину пошуку проблем і контролюючи частоту хибних спрацьовувань.

Інтерес викликало те, що можливості CriticGPT виходять за межі простої перевірки коду. В експериментах модель застосували до ряду тренувальних даних ChatGPT, раніше оцінених людьми як бездоганні, і CriticGPT виявив помилки у 24% випадків, які згодом підтвердили експерти. Це демонструє потенціал моделі не лише для технічних завдань, але й для виявлення тонких помилок, які можуть залишитися непоміченими навіть при ретельній перевірці людиною.

Попри обнадійливі результати, CriticGPT, як і всі моделі ШІ, має свої обмеження. Модель навчалася на відносно коротких відповідях ChatGPT, що може не підготувати її до оцінки довших і складніших завдань. Команда дослідників визнає, що модель найбільш ефективна у виявленні помилок, які можна визначити в одному конкретному місці коду, проте реальні помилки часто розкидані по декількох частинах відповіді, що є викликом для майбутніх ітерацій моделі.

Источник: noworries.news


Warning: count(): Parameter must be an array or an object that implements Countable in /home/politdumkakiev/public_html/wp-content/themes/legatus-theme/includes/single/post-tags.php on line 5
Share

Статьи по теме

Последние новости

Гендерний розподіл у дипломатії України: шлях до рівності

Читать всю статью

Мы в соцсетях

Наши партнеры

UA.TODAY - Украина Сегодня UA.TODAY

EA-LOGISTIC: Международные грузоперевозки – всегда своевременно и надежно!