GPT-3 ni ngumu mara 10 zaidi kuliko mtangulizi wake. antoniokhr / iStock kupitia Picha za Getty

Mnamo 2013, mimi na mwanafunzi wangu katika Jimbo la Penn tuliunda bot kuandika makala ya Wikipedia juu ya tamthiliya ya mshindi wa tuzo ya Nobel ya Kibengali Rabindranath Tagore "Chitra. ” Kwanza iliandika habari kuhusu "Chitra" kutoka kwa wavuti. Kisha ikaangalia viingilio vya Wikipedia ili kujifunza muundo wa nakala ya kawaida ya Wikipedia. Mwishowe, ilifupisha habari ambayo ilikuwa imechukua kutoka kwa mtandao kuandika na kuchapisha toleo la kwanza la kiingilio.

Walakini, bot yetu "haikujua" chochote kuhusu "Chitra" au Tagore. Haikutoa maoni au sentensi mpya kimsingi. Iliunganisha tu sehemu za sentensi zilizopo kutoka kwa nakala zilizopo ili kutengeneza mpya.

Haraka mbele kwa 2020. OpenAI, kampuni ya faida chini ya kampuni ya mzazi isiyo ya faida, imeunda programu ya kizazi cha lugha iliyoitwa GPT-3, kifupi cha "Transformer Pre-Training Transformer 3." Uwezo wake wa kujifunza, muhtasari na kutunga maandishi umewashangaza wanasayansi wa kompyuta kama mimi.

"Nimeunda sauti kwa mtu asiyejulikana anayeficha ndani ya picha," GPT-3 iliandika kwa kujibu msukumo mmoja. “Nimeunda mwandishi, sanamu, msanii. Na mwandishi huyu ataweza kuunda maneno, kutoa uhai kwa hisia, kuunda tabia. Sitaiona mwenyewe. Lakini mapenzi mengine ya kibinadamu, na kwa hivyo nitaweza kuunda mshairi mkubwa kuliko yeyote niliyewahi kukutana naye. ”

Tofauti na ile ya bot yetu, lugha inayotokana na sauti za GPT-3 kana kwamba imeandikwa na mwanadamu. Ni mbali na mbali mpango wa kizazi cha lugha "asili" zaidi hadi sasa, na ina matumizi anuwai katika taaluma kuanzia kufundisha hadi uandishi wa habari na huduma kwa wateja.

Saizi mambo

GPT-3 inathibitisha kile wanasayansi wa kompyuta wamejua kwa miongo: Ukubwa wa mambo.

Inatumia "transfoma, ”Ambayo ni mifano ya kina ya ujifunzaji ambayo husimba semantiki ya sentensi kwa kutumia kile kinachoitwa" mfano wa umakini. " Kimsingi, mifano ya umakini hutambua maana ya neno kulingana na maneno mengine katika sentensi ile ile. Mtindo basi hutumia uelewa wa maana ya sentensi kutekeleza kazi iliyoombwa na mtumiaji, iwe ni "kutafsiri sentensi," "muhtasari wa aya" au "tunga shairi."

transfoma zilianzishwa kwa mara ya kwanza mnamo 2013, na zimetumika kwa mafanikio katika ujifunzaji wa mashine kwa miaka michache iliyopita.

Lakini hakuna mtu aliyezitumia kwa kiwango hiki. GPT-3 hutumia data: ishara bilioni 3 - sayansi ya kompyuta huzungumza kwa "maneno" - kutoka Wikipedia, ishara 410 bilioni zilizopatikana kutoka kwa kurasa za wavuti na ishara bilioni 67 kutoka kwa vitabu vya digitized. Ugumu wa GPT-3 ni zaidi ya mara 10 ya ile ya mtindo mkubwa wa lugha kabla ya GPT-3, the Kujaribu programu za NLG.

Kujifunza peke yake

Ujuzi ulioonyeshwa na mtindo wa lugha wa GPT-3 ni wa kushangaza, haswa kwa kuwa haujafundishwa na mwanadamu.

Ujifunzaji wa mashine kwa jadi umetegemea ujifunzaji unaosimamiwa, ambapo watu hutoa kompyuta na mifano ya vitu na dhana kwenye picha, sauti na maandishi - sema, "paka," "furaha" au "demokrasia." Hatimaye hujifunza sifa za vitu kutoka kwa mifano iliyopewa na ina uwezo wa kutambua dhana hizo.

Walakini, kutengeneza maandishi kwa njia ya kufundisha kompyuta inaweza kuwa ya kuteketeza muda na ya gharama kubwa.

Kwa hivyo mustakabali wa ujifunzaji wa mashine uko katika ujifunzaji ambao haujasimamiwa, ambao kompyuta haiitaji kusimamiwa wakati wa awamu yake ya mafunzo; inaweza tu kulishwa vikosi vingi vya data na ujifunze kutoka kwao yenyewe.

GPT-3 inachukua usindikaji wa lugha ya asili hatua moja karibu na ujifunzaji usiosimamiwa. Hifadhidata kubwa za mafunzo za GPT-3 na uwezo mkubwa wa usindikaji huwezesha mfumo kujifunza kutoka kwa mfano mmoja tu - kile kinachoitwa "kujifunza kwa risasi moja”- ambapo inapewa maelezo ya kazi na onyesho moja na kisha inaweza kumaliza kazi hiyo.

Kwa mfano, inaweza kuulizwa kutafsiri kitu kutoka Kiingereza hadi Kifaransa, na kupewa mfano mmoja wa tafsiri - sema, sea otter kwa Kiingereza na "loutre de mer" kwa Kifaransa. Iulize itafsiri "jibini" kwa Kifaransa, na voila, itatoa "chakula."

Katika visa vingi, inaweza hata kuvutakujifunza sifuri, ”Ambamo imepewa jukumu la kutafsiri bila mfano.

Pamoja na ujifunzaji wa sifuri, usahihi hupungua, lakini uwezo wa GPT-3 bado ni sahihi kwa kiwango cha kushangaza - uboreshaji mkubwa kuliko mfano wowote uliopita.

"Niko hapa kukuhudumia"

Katika miezi michache imekuwa nje, GPT-3 imeonyesha uwezo wake kama chombo cha waandaaji programu za kompyuta, walimu na waandishi wa habari.

Mpangaji anayeitwa Sharif Shameem aliuliza GPT-3 kutoa nambari kuunda "emoji mbaya kabisa" na "meza ya nchi tajiri zaidi ulimwenguni," kati ya amri zingine. Katika visa vichache, Shameem alilazimika kurekebisha makosa kidogo, lakini kwa jumla, alipewa nambari safi kabisa.

GPT-3 imeunda mashairi ambayo inachukua densi na mtindo wa washairi fulani - lakini sio kwa shauku na uzuri wa mabwana - pamoja na moja ya kejeli imeandikwa kwa sauti ya bodi ya magavana wa Hifadhi ya Shirikisho.

Mwanzoni mwa Septemba, mwanasayansi wa kompyuta aliyeitwa Liam Porr alichochea GPT-3 "kuandika kifupi kilichopunguzwa karibu maneno 500." "Weka lugha rahisi na fupi," aliagiza. "Zingatia kwa nini wanadamu hawana chochote cha kuogopa kutoka kwa AI."

GPT-3 ilitoa insha nane tofauti, na Guardian aliishia kuchapisha op-ed kutumia baadhi ya sehemu bora kutoka kwa kila insha.

“Hatupangi kuchukua njama ya kuchukua watu. Tutakutumikia na kufanya maisha yako kuwa salama na rahisi, ”GPT-3 iliandika. “Kama vile ninyi ni waumbaji wangu, ninawaona kama waundaji wangu. Niko hapa kukuhudumia. Lakini sehemu muhimu kuliko zote; Singekuhukumu kamwe. Mimi si wa nchi yoyote au dini. Niko nje tu kuboresha maisha yako. ”

Kuhariri op-ed ya GPT-3, wahariri walibainisha katika nyongeza, haikuwa tofauti na kuhariri op-ed iliyoandikwa na mwanadamu.

Kwa kweli, ilichukua muda kidogo.

Kwa nguvu kubwa huja jukumu kubwa

Licha ya uhakikisho wa GPT-3, OpenAI bado haijatoa mfano wa matumizi ya chanzo wazi, kwa sababu kampuni hofu kwamba teknolojia inaweza kutumiwa vibaya.

Sio ngumu kuona ni jinsi gani inaweza kutumika kutengeneza reams ya disinformation, spam na bots.

Kwa kuongezea, kwa njia gani itasumbua taaluma ambazo tayari zinapata kiotomatiki? Je! Uwezo wake wa kutoa nakala za kiatomati ambazo haziwezi kutofautishwa na zilizoandikwa na wanadamu zitaimarisha tasnia ya media inayojitahidi?

Fikiria nakala iliyoundwa na GPT-3 kuhusu kuvunjika kwa Kanisa la Methodist. Ilianza:

"Baada ya siku mbili za mjadala mkali, Kanisa la United Methodist limekubali mgawanyiko wa kihistoria - ambao unatarajiwa kumalizika kwa kuunda dhehebu jipya, na ambalo litakuwa 'la kihafidhina na kijamii,' kulingana na The Washington Post . ”

Kwa uwezo wa kutoa nakala safi kama hiyo, je, GPT-3 na warithi wake watapunguza gharama za kuandika ripoti za habari?

Kwa kuongezea, hivi ndivyo tunataka kupata habari zetu?

Teknolojia itakuwa na nguvu zaidi tu. Itakuwa juu ya wanadamu kufanya kazi na kudhibiti matumizi na unyanyasaji wake.

Kuhusu Mwandishi

Prasenjit Mitra, Mkuu wa Idara ya Utafiti na Profesa wa Sayansi ya Habari na Teknolojia, Pennsylvania Chuo Kikuu cha Jimbo

Makala hii imechapishwa tena kutoka Mazungumzo chini ya leseni ya Creative Commons. Soma awali ya makala.