GPT-2 - OpenAI відкрила доступ до повної версії нейромережі GPT-2, призначеної для створення осмисленого тексту на довільні теми
GPT-2 - OpenAI відкрила доступ до повної версії нейромережі GPT-2, призначеної для генерації осмисленого тексту на довільні теми
Не встигли відшуміти новини про нейромережу BERT від Google, яка показала state-of-the-art результати на цілій низці розмовних (NLP) завдань у машинному навчанні, як OpenAI викотили нову розробку: GPT-2. Ця нейронна мережа з рекордним на даний момент числом параметрів (1.5 млрд, проти 100-300 млн, що зазвичай використовуються в таких випадках) виявилася здатною генерувати цілі сторінки зв'язкового тексту.
Дослідницька лабораторія OpenAI відкрила доступ до повної версії нейромережі GPT-2, призначеної для генерації осмисленого тексту на довільні теми. Вона була готова ще в лютому, але розробники виявились настільки вражені результатами активності свого дітища, що просто побоялися випускати його у світ. Було представлено кілька урізаних версій ІІ, щоб подивитися, як Інтернет-спільнота на них відреагує, і головне – як застосовуватиме.
Нейросеть GPT-2 пройшла навчання на 8 млн. текстів з Інтернету і вміє швидко і точно розпізнавати суть написаного, щоб зробити висновки та продовжити текст. Наприклад, їй достатньо яскравого заголовка, щоб написати текст «сенсаційної» новини, яку багато хто прийме за правду. ІІ вміє працювати з літературними прийомами, з технічними текстами, він пише вірші та може підтримувати бесіду, складаючи розгорнуті відповіді на запитання.
Побоювання експертів викликало те, наскільки переконливо виглядають тексти від GPT-2. ІІ не вміє брехати в прямому сенсі, у нього немає злого наміру, але він майстерно жонглює словами, щоб складати фрази, що звучать вагомо. Звичайно, у нейромережі вистачає і вразливих місць – наприклад, їй не під силу Вибудувавши довгий сюжет, вона працює тільки з невеликими за обсягом текстами. Або може припуститися грубої помилки, неправильно інтерпретувавши назву невідомого їй предмета.
У результаті було ухвалено рішення за принципом «клин клином вибивають» – замість того, щоб ховати GPT-2, розробники дали повний доступ до ІІ, щоб усі бажаючі могли особисто протестувати нейромережу. Чим більше людей з нею познайомиться, тим більше обізнаними, а отже, і менш уразливими, вони стануть. І тоді застосування ІІ з корисливою метою вже не матиме таких руйнівних наслідків.
