Генерати́вний попере́дньо трено́ваний трансфо́рмер 3 (англ. Generative Pre-trained Transformer 3, GPT-3) — це авторегресійна модель мови, яка використовує глибоке навчання, щоби виробляти текст, подібний до людського. Вона є мовною передбачувальною моделлю третього покоління в серії GPT-n, створеній OpenAI, лабораторією досліджень штучного інтелекту в Сан-Франциско. Повна версія GPT-3 має ємність у 175 мільярдів параметрів машинного навчання. GPT-3, яку було представлено в травні 2020 року і яка перебуває в бета-тестуванні станом на липень 2020 року, є частиною тенденції попереднього тренування представлень мови в системах обробки природної мови (ОПМ). Перед випуском GPT-3 найбільшою мовною моделлю була Turing NLG Microsoft, представлена в лютому 2020 року, з ємністю в 17 мільярдів параметрів, або менш ніж 10 % у порівнянні з GPT-3.
Якість тексту, породжуваного GPT-3, є настільки високою, що його складно відрізнити від тексту, написаного людиною, що несе як переваги, так і ризики. Оригінальну працю 28 травня 2020 року, яка представила GPT-3, презентували тридцять один дослідник та інженер OpenAI. У своїй праці вони попередили про небезпеки потенціалу GPT-3, й закликали провести дослідження з метою зниження ризику.:34 Девід Чалмерс, австралійський філософ, описав GPT-3 як «одну із найцікавіших та найважливіших систем ШІ з будь-коли зроблених».
22 вересня 2020 року Microsoft оголосила, що отримала ліцензію на «ексклюзивне» використання GPT-3; інші все ще можуть використовувати цей загальнодоступний ППІ для отримування виходу, але лише Microsoft має контроль над первинним кодом.
Передісторія
Згідно з журналом «Економіст», вдосконалені алгоритми, потужні комп'ютери, та збільшення оцифрованих даних спричинили революцію у машинному навчанні, завдяки чому нові методики призвели 2010 року до «швидкого вдосконалення в задачах», включно з маніпулюванням мовою. Програмні моделі тренуються навчатися, використовуючи тисячі або мільйони зразків у «структурі, … що в загальних рисах ґрунтується на нейронній архітектурі мозку». Однією з архітектур, які використовують в обробці природної мови (ОПМ), є нейронна мережа, що ґрунтується на моделі глибокого навчання, вперше представлена 2017 року —Трансформер. Моделі GPT-n ґрунтуються на цій нейромережній архітектурі глибокого навчання на основі Трансформера. Існує низка систем ОПМ, здатних оброблювати, видобувати, впорядковувати, з'єднувати, протиставляти, розуміти, та породжувати відповіді на питання.
11 червня 2018 року дослідники та інженери OpenAI опублікувати свою оригінальну працю про породжувальні (генеративні) моделі — мовні моделі — системи штучного інтелекту — які може бути попередньо треновано величезним та різноманітним корпусом тексту через набори даних, у процесі, який вони назвали генеративним попереднім тренуванням (англ. generative pre-training, GP). Ці автори описали, як в GPT-n було покращено продуктивності розуміння мови в обробці природної мови (ОПМ) за допомогою процесу «генеративного попереднього тренування моделі мови на різноманітнім корпусі неміченого тексту, з подальшим розрізнювальним тонким налаштуванням на для кожної конкретної задачі». Це усунуло потребу в людському керуванні та тривалому міченні вручну.
В лютому 2020 року Microsoft представила своє Тюрінгове породжування природної мови (англ. Turing Natural Language Generation, T-NLG), що було на той момент «найбільшою моделлю мови з будь-коли опублікованих, із 17 мільярдами параметрів». Вона працювала краще за будь-яку іншу модель мови на різноманітних задачах, до яких належали автоматизоване реферування та відповідання на питання.
Можливості
Сигнальний примірник arXiv 28 травня 2020 року від групи з 31 інженера та дослідника OpenAI описав розробку GPT-3, «моделі мови найвищого рівня» третього покоління. Ця команда збільшила ємність GPT-3 на понад два порядки відносно її попередниці, GPT-2, зробивши GPT-3 найбільшою нерозрідженою[прояснити] моделлю мови на той момент.:14 Вище число параметрів GPT-3 дає їй вищий рівень точності відносно попередніх версій із меншою ємністю. Ємність GPT-3 є в десять разів більшою за Тюрінгове ППМ Microsoft.
Шістдесят відсотків зваженого набору даних попереднього тренування GPT-3 походить із відфільтрованої версії Common Crawl, що складається з 410 мільярдів діграмно кодованих лексем:9. Іншими джерелами є 19 мільярдів лексем з WebText2, що представляють 22 % зваженого загального, 12 мільярдів лексем з Books1, що представляють 8 %, 55 мільярдів лексем з Books2, що представляють 8 %, та 3 мільярди лексем із Вікіпедії, що представляють 3 %:9. GPT-3 треновано на сотнях мільярдів слів, і вона здатна, серед іншого, писати код мовами CSS, JSX та Python. Оскільки тренувальні дані GPT-3 були всеосяжними, вона не вимагає подальшого тренування для окремих мовних задач.
11 червня 2020 року OpenAI оголосила, що користувачі можуть робити запити на доступ до їхнього дружнього ППІ GPT-3 — «набору інструментів машинного навчання» (англ. «machine learning toolset») — щоби допомогти OpenAI «дослідити сильні сторони та межі» цієї нової технології. Це запрошення описувало, що цей ППІ мав інтерфейс загального призначення «текст на вході, текст на виході», що може виконувати майже «будь-яку задачу для англійської мови», замість звичного єдиного сценарію використання. Згідно з одним користувачем, який мав доступ до приватного раннього випуску ППІ GPT-3 OpenAI, GPT-3 була «моторошно доброю» в написанні «напрочуд зв'язного тексту», маючи лише декілька простих підказок.
Оскільки GPT-3 може «породжувати новинні статті, які оцінювачам-людям складно відрізнити від статей, написаних людьми», GPT-3 має «потенціал створити прогрес як у корисних, так і в шкідливих застосуваннях моделей мови».:34 У своїй праці від 28 травня 2020 року дослідники описали в деталях потенційні «шкідливі впливи GPT-3», до яких належать «дезінформація, спам, фішинг, зловживання правовими та державними процесами, написання шахрайських академічних есе та соціально-інженерний претекстинг». Автори привернули увагу до цих небезпек, щоби закликати до дослідження стосовно зниження ризику.:34
Огляди
У своєму огляді 29 липня 2020 року в «Нью-Йорк таймс» Фархад Манджу сказав, що GPT-3, яка може породжувати комп'ютерний код та поезію, так само як і прозу, є не просто «дивовижною», «моторошною» та «принижувальною», але й також «більш ніж трохи жахальною».
«Дейлі Ноус» представив низку статей про GPT-3 від дев'яти філософів. Австралійський філософ Девід Чалмерс описав GPT-3 як «одну із найцікавіших та найважливіших систем ШІ з будь-коли зроблених».
В огляді у «Wired» сказано, що GPT-3 «викликала озноб по всій Кремнієвій долині».
У статті в «Towards Data Science» зазначено, що GPT-3 треновано на сотнях мільярдів слів, і що вона здатна писати код мовами CSS, JSX, Python, та іншими.
У «National Law Review» сказано, що GPT-3 є «вражаючим кроком у масштабнішому процесі», і що OpenAI та інші перебувають у пошуку «корисних застосувань для всієї цієї потужності», в той же час продовжуючи «працювати в напрямку сильнішого інтелекту».
У статті в «MIT Technology Review», написаній у співавторстві з критиком глибокого навчання Ґері Маркусом, зазначено стосовно GPT-3, що її «розуміння світу є часто дуже бідним, що означає, що ви ніколи не можете насправді довіряти тому, що вона каже». Згідно з цими авторами, GPT-3 моделює взаємозв'язки між словами, не маючи розуміння значення, що стоїть за кожним словом.
Джером Пезенті, голова лабораторії Facebook A.I., сказав, що GPT-3 є «не безпечною», вказавши на сексистські, расистські та інші упередження й негативний тон, породжувані цією системою, коли її просили обговорити євреїв, жінок, чорношкірих та Голокост.
Застосування
- GPT-3 використано Ендрю Мейном для AI Writer [Архівовано 31 жовтня 2020 у Wayback Machine.], який дозволяє людям листуватися з історичними діячами електронною поштою.
- GPT-3 використано Джейсоном Рорером в стилізованім під ретро проєкті чатбота, названім «Project December» («Проєкт Грудень»), що є доступним онлайн і дозволяє користувачам спілкуватися з декількома ШІ за допомогою технології GPT-3.
- GPT-3 використано «Ґардіан» для написання статті про те, що ШІ є нешкідливим для людей. Їй згодовано декілька ідей, і вона виробила вісім різних есе, які в підсумку об'єднано в одну статтю.
- GPT-3 використовують у AI Dungeon (Темниця ШІ), що породжує текстові пригодницькі ігри.
- GPT-3 використовується для написання текстів та інших маркетингових матеріалів стартапами Copy.ai, Jasper.ai,, TextCortex AI та Hypotenuse AI.