Toată lumea ar trebui să-l încerce. În general, eu nu sunt de părere că, în ceea ce privește tehnologia, ar trebui să pornim cu răul înainte. Trebuie să înțelegem unde ne poate ajuta. Ține de fiecare dintre noi să devenim mai eficienți, mai buni la ce facem. (…) E o tehnologie gratuită. Să încercăm să o folosim cât putem de mult, să vedem unde ne ajută să fim mai productivi.
Ceva memorabil s-a întâmplat în decembrie 2022. OpenAI a lansat ChatGPT, o tehnologie de tipul chatbot, capabilă să răspundă la aproape orice întrebare, să scrie cod și să imagineze texte, de la literatură, la emailuri și comunicate de presă.
În ianuarie, a avut mai mult de 100 de milioane de utilizatori în toată lumea. A provocat o frenezie în rândul oamenilor ca voi și ca mine, care, săptămâni la rând, au pus ChatGPT la încercare cu tot felul de cereri și proiecte creative.
Companiile de tehnologie, de la Microsoft la Google, au intrat într-o competiție serioasă pentru a anunța propriile lor produse de tipul ChatGPT.
Acești roboți, capabili să genereze limbaj natural, devin unul dintre subiectele majore ale anului 2023.
Traian Rebedea este antreprenor, cercetător la Universitatea Politehnică și unul dintre oamenii care lucrează cu această tehnologie. A cofondat Roboself, o companie care a creat un chatbot specializat și care a fost cumpărată de Nvidia.
Am vorbit cu el despre ce este ChatGPT, cum e antrenat un astfel de sistem, care îi sunt limitările și dacă e capabil sau nu de creativitate și de lucruri originale. Dar și despre cum îl putem folosi fiecare dintre noi pentru a ne simplifica viețile și cum poate transforma felul în care lucrăm și învățăm.
Am vorbit despre miza acestei lansări care a dat lumea peste cap, dacă ChatGPT a fost sau nu capabil să treacă un test de angajare la Google, despre cum s-a certat și contrazis cu utilizatorii lui și de ce și despre capacitatea lui de a fi ”uman” și a ne înduioșa cu răspunsurile teribil de vulnerabile uneori.
Dar și despre pericolul ca o astfel de tehnologie să deturneze părerile și convingerile oameni, despre nevoia de transparență, de ce e important ca fiecare dintre noi să-l folosim și viitorul sistemelor de tip ChatGPT.
Idei principale
- Subiectul anului 2023 în tehnologie. Apariția ChatGPT, în urmă cu trei luni, a fost una dintre cele mai entuziasmante vești din domeniu, din ultima perioadă. Este o tehnologie care ar putea schimba viața majorității oamenilor, similar cu felul în care au făcut-o motoarele de căutare sau telefoanele smart, cu touchscreen. Toți oamenii pot interacționa foarte ușor cu ChatGPT. Acesta rezolvă o gamă destul de variată de probleme, de instrucțiuni, și astfel, ar putea să ne ajute să fim mai eficienți. Există 20 de firme în toată lumea, în acest moment, care au banii și competențele pentru a putea face mai multe modele similare cu ChatGPT, anul acesta. În timp, probabil vor fi din ce în ce mai multe.
- ChatGPT este un agent virtual conversațional bazat pe un model de învățare automată. Este un chatbot care poate purta conversații cu utilizatori umani, într-un limbaj natural, răspunzând la mesajele tastate de aceștia. Are în spate o tehnologie complexă, în trei straturi. GPT înseamnă „Generative Pre-trained Transformer”, respectiv un transformator preantrenat pe o colecție mare de texte – aproape toate textele pe care le putem găsi pe internet –, care generează tot timpul următorul cuvânt pe baza cuvintelor pe care le-a generat anterior. ChatGPT își îmbunătățește în timp interacțiunile, învățând din feedback-ul pe care-l primește.
- Ce este capabil să facă ChatGPT. Fiind o tehnologie aflată la început, nu știm exact ce și cât este capabil să facă momentan. Studiile făcute rapid au arătat că ar putea să treacă un interviu de angajare la Google sau ar putea să ia note de trecere la diferite examene. Poate să genereze programe de calculator – deci să scrie cod – sau eseuri. În mod sigur, este o unealtă foarte bună, excelentă pentru a găsi anumite informații pe care le pune cap la cap, din mai multe surse, ceea ce motoarele de căutare tradiționale nu fac. Greșește însă destul de mult – abia acum apar studii serioase care încearcă să măsoare cât de mult greșește, cum greșește și cum ar putea să fie îmbunătățit. Deci, de acum încolo, îi vom înțelege mai bine puterea.
- ChatGPT este atât de bun pe cât de buni sunt oamenii care l-au antrenat. Corpusul de preantrenare este alimentat cu niște seturi de instrucțiuni care reprezintă toate întrebările, sarcinile, tot ce i-ar trece unui utilizator prin cap să-l roage pe ChatGPT să rezolve. Cu niște seturi de rezolvări pentru toate aceste instrucțiuni. Rezolvările sunt scumpe, fiindcă, de multe ori, trebuie scrise de experți. Dacă e o întrebare din medicină, răspunsul ar trebui scris de un medic sau de cineva care știe medicină. Dacă la antrenare sunt date slabe și proaste, se vor genera predicții slabe și proaste. Deci e nevoie de oameni buni, care să creeze corpusul respectiv.
- ChatGPT nu face diferența între adevăr și greșeală, între invenție și realitate. Principala limitare asupra căreia se concentrează oamenii acum este faptul că ChatGPT inventează răspunsuri. De foarte multe ori nu știe să zică că nu poate să răspundă. Dacă îl pui să discute despre un subiect foarte la modă, foarte cunoscut, sau să scrie un eseu despre o carte cunoscută, pentru care găsește multe surse, o să răspundă excelent. Dacă însă îi dai un subiect mai specific, ceva mai puțin popular, începe să inventeze, făcând conexiuni incorecte sau adăugând referințe către cărți și site-uri care nu există. Răspunde tot timpul cu o încredere foarte mare. Nu știe când greșește și e foarte sigur că are dreptate. De multe ori chiar se ceartă cu utilizatorul dacă acesta îi spune că n-are dreptate.
- 100 de milioane de oameni au testat ChatGPT. Decizia celor de la OpenAi de a-l oferi gratuit utilizatorilor a fost una strategică. În învățarea automată, tehnologia este foarte importantă, dar fără date, nu ajută foarte mult. Creatorii chatbot-ului au urmărit să aibă acces la cât mai multe date: ce întrebări, ce instrucțiuni au formulat oamenii care au intrat pe site. I-au folosit pe cei 100 de milioane de oameni pentru a antrena mașinăria ChatGTP pe o serie imensă de date.
- ChatGTP e capabil să învețe, dar limitat. În primul rând, el învață din corpusurile pe care e antrenat. Se pot elimina datele cu greșeli din corpusul de instrucțiuni, pe măsură ce face greșelile. ChatGTP învață și din dialogul cu utilizatorul. „Învață” înseamnă că atunci când generează următorul răspuns, primește pe lângă instrucțiune, și alte informații – de exemplu, faptul că interlocutorului îi plac anumite lucruri. Nu învață însă de la un interlocutor la altul, ci doar din replicile primite în aceeași conversație. Cel puțin momentan, nu învață și nu își transferă cunoștințe așa cum ar face un om în timp real, din discuțiile cu mai mulți oameni.
- Pericolele potențiale sunt legate în primul rând de felul cum funcționează tehnologia și de rezultate. Faptul că halucinează și dă răspunsuri incorecte, pe care mulți oameni le pot lua drept corecte, iar aceste răspunsuri greșite pot face rău e cea mai mare problemă. Al doilea lucru care ține de tehnologie este faptul că ChatGPT e antrenat pe niște instrucțiuni și răspunsuri ale unor oameni despre care nu știm nimic. Vrem în mod real să ne ghidăm viața după niște răspunsuri despre care nici măcar nu știm cine le-a scris? Avem nevoie de transparență, avem nevoie să înțelegem cum au fost selectați oamenii respectivi, ce valori și ce convingeri au. A treia problemă, ca în cazul oricărei tehnologii, e modul în care e utilizată. Cu ChatGPT se pot genera știri false, se pot trimite tone de SPAM mult mai ușor. La fel ca energia atomică, are și utilizări rele, și utilizări bune.
- Miza acestei tehnologii. ChatGPT are capacitatea să transforme felul în care lucrăm, felul în care comunicăm cu ceilalți, felul în care creăm. Trebuie să încercăm să îl folosim cât putem de mult, ca să vedem unde ne poate ajuta să fim mai productivi. Putem genera programe pentru calculator sau documente pentru proiectare 3D. Există inclusiv posibilitatea generării unui diagnostic diferențiat, în domeniul medical. Practic putem genera multe lucruri pentru care până acum aveam nevoie de cunoștințe profesionale specifice. De fapt asta se consideră că se va întâmpla în viitor – chatboții vor fi asistenți de editare pentru medici, programatori sau oricine are nevoie. Ei vor face o primă sugestie, iar expertul va trebui să ia decizia. De asemenea, ne vor oferi răspunsuri pentru task-uri din viața de zi cu zi, economisindu-ne timp. Există însă temerea că n-o să mai învățăm să facem lucrurile respective, pentru că o să-l întrebăm pe ChatGPT. Dacă va merge, bine! Dacă nu va merge, cine se va prinde că nu merge – excelent, cine nu – ghinion!
Acest podcast este susținut de Dedeman, o companie antreprenorială 100% românească ce crede în puterea de a schimba lumea prin ambiție, perseverență și implicare. Dedeman susține ideile noi, inovația, educația și spiritul antreprenorial și este partener strategic al The Vast&The Curious. Împreună, creăm oportunități pentru conversații cu sens și întrebări care ne fac mai buni, ca oameni și ca organizații.
****
Podcastul Vast&Curious este susținut de AROBS, cea mai mare companie de tehnologie listată la bursă. AROBS este o companie românească fondată acum 25 de ani la Cluj, cu birouri în opt țări și parteneri și clienți în Europa, America și Asia.
AROBS crede într-o cultură a implicării, a evoluției continue și a parteneriatului pe termen lung. Este una dintre puținele companii românești care oferă fiecărui angajat acțiuni gratuite în pachetul obișnuit de beneficii.
Pentru conversații cu antreprenori, sociologi, psihologi și alți oameni destoinici și interesanți despre business, leadership, performanță și natura umană, abonați-vă la podcastul Vast and Curious în Soundcloud, Apple, Stitcher, Spotify
O dată la două săptămâni, punem la un loc câteva texte, idei, cărți atent selectate despre antreprenoriat, leadership, business și natura umană. Abonați-vă la newsletter pentru a le primi, aici.
Transcriere
Andreea Roșca: Traian Rebedea, bine ai venit la Vast and Curious! Îți mulțumesc pentru timp și conversație.
Traian Rebedea: Bună, Andreea! Mulțumesc pentru invitație! Abia aștept să stăm de vorbă.
Andreea Roșca: Și eu. Sunt așa de entuziasmată de ChatGPT și atât m-am jucat cu el, încât acum vreau să aflu tot. Dar aș vrea să începem cu tine, înainte să vorbim despre această tehnologie care pare că va fi subiectul anului în domeniu. Vorbește un pic despre ce faci acum și spune câteva cuvinte despre RoboSelf.
Traian Rebedea: În primul rând, eu sunt cercetător. Când sunt întrebat ce fac, asta este ceea ce spun de obicei. Predau la Facultatea de Automatică și Calculatoare și fac cercetare aplicată de foarte mult timp, în diverse contexte. Drept urmare, consider că ceea ce mă descrie cel mai bine este că fac cercetare în prelucrarea limbajului natural și învățarea automată. Fac asta din facultate, când inteligența artificială și învățarea automată, cel puțin în România, erau incipiente. Eram, din punctul meu de vedere, un pic în urmă în acest domeniu. Nu se punea atât de mult accent pe învățarea automată. Era, încă, foarte la început. Încă de atunci am considerat însă că este foarte importantă și am încercat să o aplic după aceea, în tot ce am făcut: în doctoratul de la Politehnică, în colaborări cu companii, în start-upurile la care am lucrat. Am colaborat cu destul de multe companii – pe unele le-am ghidat, altora le-am recomandat oameni din echipa mea, pe alte le-am cofondat.
Pe RoboSelf am cofondat-o împreună cu Răzvan Dinu, care a fost CEO și persoana care a tras cel mai tare fiind implicat full-time. Întotdeauna în colaborările mele, fiind și profesor la Automatică, nu aveam o implicare full-time. La RoboSelf am fost Chef Data Analyst, deci cercetător, practic.
Andreea Roșca: Ce făcea RoboSelf?
Traian Rebedea: Construia tehnologie pentru agenți conversaționali. Un fel de ChatGPT, dar mult mai ghidat în cadrul unui domeniu. Nu-și propunea să răspundă la toate întrebările din lume și să rezolve orice situație, în schimb, acolo unde rezolva o problemă trebuia să o rezolve cu precizie de 100%. Să ne gândim la un agent conversațional în serviciul cu clienții – dacă vrei să returnezi un articol la un magazin, trebuie să știi exact care sunt regulile pentru acel magazin. Agentul conversațional nu trebuie să spună generalități, nu trebuie să încurce regulile de la Zara cu regulile de la Massimo Dutti. Adică nu are voie să inventeze, așa cum o să vedem că face ChatGPT.
Andreea Roșca: Când a fost cumpărat RoboSelf de Nvidia?
Traian Rebedea: Anul trecut.
Andreea Roșca: Deci ați vândut RoboSelf către Nvidia în 2022. Acum practic tu lucrezi la Nvidia, una dintre cele 20 de companii din lume care dezvoltă tehnologie precum cea din spatele ChatGPT. Cum se numește această tehnologie?
Traian Rebedea: Este un pic mai complicat. Sunt trei tehnologii care vin una peste alta. Prima tehnologie la bază se numește „rețele neuronale de tip transformer” – „Transformator”. Aceste rețele sunt antrenate pe colecții foarte mari de texte, aproape toate textele pe care le poți găsi. Imaginează-ți tot internetul – toată Wikipedia, cărți, discuții, discuții din filme, subtitrări. Deci sunt antrenate pe colecții foarte mari de texte, în general pe probleme simple: doar să prezică următorul cuvânt. Eu îi dau primele „n” cuvinte și programul trebuie să mi-l prezică pe al „n plus 1”-lea. Dar trebuie să facă asta pentru o mare parte din textele publice pe care le-a produs umanitatea.
Andreea Roșca: Ai idee cât din cunoașterea umanității este în momentul ăsta pe internet?
Traian Rebedea: Mi-e greu să spun, dar cred că destul de mult din cunoașterea umanității se află undeva pe internet sau în format digitizat.
Andreea Roșca: Ok. Îmi spuneai că sunt 20 de companii în lume care lucrează în momentul acesta la genul de tehnologie care e în spatele lui ChatGPT.
Traian Rebedea: Tehnologiile de tip „Transformator” sunt multe, probabil sunt sute. ChatGPT este o tehnologie în trei straturi. E nevoie de transformatoare antrenate pe colecția asta imensă de texte, doar să prezică următorul cuvânt. Dar atunci modelele nu prea știu să rezolve probleme specifice, să răspundă la instrucțiuni. Dacă îi ceri: „Sumarizează-mi ….(ceva)!”, nu prea știe să sumarizeze, fiindcă n-a înțeles ce înseamnă instrucțiunea de a sumariza. Sau: „Spune-mi o poezie!”, sau: „Scrie-mi un program de calculator!” El nu prea a văzut instrucțiuni din acest context. El a citit cărți. Dacă tu îi zici „Sumarizează-mi…!” și îi dai după aceea un paragraf lung, el are tendința să-ți completeze paragraful lung, fiindcă a citit foarte multe cărți, articole de știri și uită că i-ai zis undeva, la început: „Sumarizează-mi…!”
Și atunci, a doua tehnologie se numește „transformatoare care știu să urmărească instrucțiuni”. Pentru asta s-au adunat colecții din ce în ce mai mari de instrucțiuni de la oameni – ex.: „Sumarizează-mi următorul document!”, „Vreau o poezie în care să apară cuvintele lună și stele!”, „Spune-mi cum ar discuta Elon Musk dacă s-ar întâlni cu Tesla!”, „Scrie-mi un program de calculator în Python care rezolvă următoarea problemă!”. S-au adunat colecții mari de astfel de instrucțiuni, sute de mii – părerea mea e că firme ca OpenAI au milioane, probabil – și de răspunsuri potrivite pentru ele. Adică nu a învățat doar să genereze următorul cuvânt, ci a învățat să genereze următorul cuvânt care să răspundă acestei instrucțiuni specifice. Instrucțiunile acestea se mai numesc și „prompting”.
Al treilea nivel este să învețe să dea scoruri, cu niște algoritmi mai complicați de învățare automată, numiți „învățare prin recompensă”. Nu doar să genereze cel mai probabil cuvânt, ci să se prindă dacă unui om îi place fragmentul generat, raportându-se la instrucțiunea pe care a văzut-o. Dacă i-ai zis: „Compune o poezie!” și el generează cuvinte care se potrivesc unul după altul, dar nu au rimă, învață să dea o recompensă și să penalizeze acele cuvinte care nu se potrivesc în contextul respectiv. Învață tot pe baza corpusurilor de instrucțiuni. Consideră că răspunsurile potrivite sunt cele cu scor mare, față de alte răspunsuri notate mai prost.
Andreea Roșca: Practic, el își îmbunătățește în timp interacțiunile, învățând din feedback-ul pe care-l primește.
Traian Rebedea: Da, învață din feedback. Sunt niște algoritmi care învață să dea scoruri și să îmbunătățească metoda de generare. Metoda de generare are un bias pe baza cuvintelor văzute în colecția mare de antrenare, iar învățarea prin recompensă spune: «Vezi că la task-ul ăsta, la instrucțiunea asta, tu ai generat cuvântul „x”, ai generat fraza „x”, dar aici nu e potrivită.» De exemplu, dacă trebuie să generezi o poezie, și nu are rimă; dacă trebuie să generezi cod în Python, și nu pare să fie cod în Python compilabil. Și atunci îți dau un scor mai mic, recompensa o să fie un pic mai mică.
Andreea Roșca: Aș vrea să vorbim despre importanța acestui moment. ChatGPT a apărut în noiembrie, anul trecut, dar a devenit subiectul de care vorbește toată lumea, undeva pe la mijloc de ianuarie 2023, cam acum o lună de zile. Când am vorbit data trecută, mi-ai spus că „apariția lui este una dintre cele mai entuziasmante vești”.
Traian Rebedea: Da, apariția lui este una din cele mai entuziasmante vești din tehnologie, din ultima perioadă, pentru că e o tehnologie care chiar ar putea să schimbe viața majorității oamenilor. Similar cu felul în care au făcut-o motoarele de căutare sau telefoanele smart, cu touchscreen. Toți oamenii pot să interacționeze cu ChatGPT într-un mod foarte ușor. Rezolvă o gamă destul de variată de probleme, de instrucțiuni. De asta ar putea să ne ajute să fim mai eficienți. Tocmai din cauza asta, sunt aceste 20 de firme în toată lumea care au banii, competențele, echipa astfel încât să poată face modele similare cu ChatGPT, anul acesta. Probabil, în timp, ar putea să fie din ce în ce mai multe.
Andreea Roșca: Și Nvidia e printre ele, înțeleg.
Traian Rebedea: Da, Nvidia este una dintre aceste firme. În primul rând sunt toate firmele care aveau modele de tip transformer – care erau modele mari, eficiente. Modelele acestea se antrenează pe plăci grafice. Nvidia produce plăcile grafice, drept urmare are și echipa care construiește software. Deci antrenarea lor se face cu tool-uri de la Nvidia, cu niște tehnologii făcute de Nvidia, care rulează peste plăcile grafice. Nvidia are și echipe care să producă aplicații pentru limbaj natural. E următorul nivel. Dacă ei fac plăcile grafice, ei fac softul cu care se antrenează algoritmii aceștia și tot cu ei îi și prezic, atunci de ce să nu facă și tehnologia specifică, de tip „Transformer”?
Andreea Roșca: Ce este capabil să facă ChatGPT în momentul ăsta. De e atât de entuziasmantă vestea? Eu am citit foarte multe lucruri despre el, de la faptul că a trecut interviul de angajare de la Google, până la acuratețea cu care este capabil să-ți scrie, de exemplu, un eseu despre Shakespeare.
Traian Rebedea: Răspunsul corect ar fi că nu știm încă. Nu știm exact ce și cât de capabil este să facă. Adică nu știm acurateța sau precizia. Suntem încă la început. Au fost făcute niște studii – nu studii științifice, mai degrabă niște articole și studii făcute rapid. Acestea ne arată că ar putea să treacă un interviu de angajare la Google – deci e foarte bun să scrie cod –, ar putea să ia notă de trecere la examenul de barou în Statele Unite, probabil și în România, la examene de admitere la medicină sau de terminare a facultății.
Andreea Roșca: Cu condiția să nu trebuiască să le dea față în față.
Traian Rebedea: Da, cu condiția să nu fie nevoie să vorbească, doar să scrie. El primește subiectul la fel ca orice om și răspunde la fel ca orice om. Aici a fost câștigul făcut de OpenAI, faptul că l-au făcut conversațional. GPT înseamnă „Generative Pre-trained Transformer” – „transformator generativ preantrenat”. Adică, transformator preantrenat pe colecția mare de texte de tip generativ, care generează tot timpul următorul cuvânt pe baza cuvintelor pe care le-a generat până acum.
Andreea Roșca: Ce altceva e capabil să facă?
Traian Rebedea: Modulul generativ e foarte bun. Poate să genereze programe de calculator, eseuri, răspunsuri pentru examene. Și le generează într-un mod conversațional. Adică să poți să îl întrebi și de ce a făcut asta.
Andreea Roșca: Am văzut o conversație foarte interesantă în The New Yorker, un interviu în care jurnalistul l-a tratat ca și cum ar fi o ființă. L-a întrebat inclusiv de ce vorbește despre el ca și cum ar fi o ființă, deși în limba engleză, când vorbești cu obiecte sau animale, nu folosești aceeași adresare ca pentru o ființă. L-a întrebat o grămadă de lucruri la care a avut o grămadă de răspunsuri rezonabile.
Traian Rebedea: Problema fundamentală, din punctul meu de vedere, este că răspunsurile par rezonabile atunci când nu ai probleme foarte specifice. Și cred că vom afla mult despre modul în care funcționează limbajul uman. Deja există articole ale specialiștilor care ne spun că ChatGPT învață, de fapt, mai degrabă forma de suprafață a limbajului – învață să lege paragrafe cu sens.
Andreea Roșca: E ca un pastiche.
Traian Rebedea: Da, există oameni care spun că, de fapt, asta e – un fel de pastiche. Știe să lege paragrafe cu sens și să le combine din diverse surse, dar nu are un model al lumii. Nu înțelege atunci când greșește. Este ca un om care tot timpul are ceva de spus.
Andreea Roșca: Dar nu are discernământ.
Traian Rebedea: Seamănă cu un politician care promite ceva. Eu am zis că seamănă cu limbajul de lemn de pe vremea comuniștilor. Tot timpul spune ceva într-un mod care sună bine, dar la un moment dat, dacă ajungi să citești multe texte scrise de ChatGPT, îți dai seama că are un stil al lui propriu și poți să-l recunoști. Sunt unelte care recunosc ChatGPT. În mod sigur, este o unealtă foarte bună, excelentă în a regăsi anumite informații. Greșește destul de mult – abia acum apar studii serioase care încearcă să măsoare cât de mult greșește. Nu este mult mai bun ca alte modele generative pe probleme specifice, când îl măsori să vezi cât de mult greșește. Par să fie studii care ne arată că nu e cel mai bun model dintre cele care rezolvă anumite probleme, în schimb rezolvă o gamă mare de probleme, și de asta pare așa uman.
Andreea Roșca: Oricine are acces la o conversație în limba română cu acest sistem, dacă vrea să o facă, pe openai.com, Try ChatGPT. Unul dintre lucrurile care mie mi s-au părut extraordinare în momentul în care am interacționat cu ChatGPT a fost nivelul de stil, nivelul de limbaj pe care-l folosește. Faptul că dacă aș pune eseurile pe care mi le-a scris mie despre diverse teme de pe lumea asta față în față cu eseuri despre subiectul acela, scris de un absolvent de master, probabil că multe dintre eseurile unui absolvent de master nu s-ar ridicat la nivelul ăla de formulare, de dimensiune a ariei din care își extrage informația, de rafinament al limbajului. Pe mine asta m-a uimit foarte tare.
Traian Rebedea: A învățat foarte bine să stăpânească forma limbajului. Aspectele de formă și de suprafață le stăpânește excelent. Vorbește minunat. De asta zic că e un politician perfect, că de multe ori politicienii trebuie să vorbească cu priză la public, cam despre orice. Studiile cam asta arată. Elementele de formă le-a învățat foarte bine. Știe să lege excelent idei din mai multe locuri. Are tendința să greșească la aspectele funcționale legate de limbaj, încă nu le stăpânește – să înțeleagă lumea, să facă inferențe cu sens, fără să greșească. Dacă îl pui să discute despre un subiect foarte la modă, foarte cunoscut, să scrie un eseu despre o carte cunoscută, pentru care găsește multe surse de unde să inspire și eventual să facă pastiche-uri și să copieze, să asambleze lucruri, o să sune excelent, mai bine decât un absolvent de master. Dacă îi găsești un subiect mai specific, ceva mai puțin popular în momentul respectiv – un roman mai specific, sau un subiect mai specific din medicină, sau din zona juridică, sau să compună programe specifice de calculator –, ajungem la problema cealaltă a lui: arată foarte bine și când greșește. Inventează într-un mod atât de frumos, adaugă referințe către cărți și site-uri care nu există. De multe ori, poate spune: «autorul „X” a spus că următoarea teorie afirmă ceva». Și, de fapt, autorul a spus că teoria infirmă acel lucru. Practic e vorba doar de un cuvânt, de o negație pe care el nu o identifică. Au fost oameni de știință care au fost foarte supărați că ChatGPT a spus exact inversul a ceea ce ei propovăduiesc de o viață, punând referințe către studiile lor.
Andreea Roșca: Deci el nu face diferența între adevăr și greșeală, între invenție și realitate.
Traian Rebedea: Din păcate, nu. Prezice, cel mai probabil, cuvântul următor, conform unor modele matematice. În primul rând încearcă să răspundă la instrucțiune – dacă vreau să sumarizeze, smarizează; dacă vreau să scrie o poezie, scrie o poezie; dacă vreau să scrie pe o temă, scrie pe temă. Are niște surse, acea colecție mare pe care a fost preantrenat, dar nu știe dacă le spune corect sau le inventează. Nu le copiază întotdeauna. Când copiază, e clar că e bine, măcar știi de unde le-a copiat.
Andreea Roșca: Câteodată își folosește imaginația. ☺
Traian Rebedea: Dacă își folosește imaginația, câteodată reformulează ok, câteodată combină lucrurile ok, dar în unele situații greșește – și încă nu știm cât de des.
De fapt asta e problema tehnologiilor AI care sunt lansate prematur, înainte să ai studii pe un număr suficient de mare de oameni, despre cât de bine merge. Și efectiv nu știm. OpenAI este un start-up – avea nevoie de bani, avea nevoie de marketing bun.
Andreea Roșca: Au luat 10 miliarde în ianuarie, de la Microsoft…
Traian Rebedea: În noiembrie, când au lansat ChatGPT-ul, probabil aveau nevoie de bani. Au lansat ChatGPT și au băgat foarte mulți bani în marketing. Este o rețetă a start-upurilor de tipul acesta – bagi bani în marketing, lansezi, apar multe știri care arată cât de bun este, măcar la început. Că este o tehnologie minunată, toată lumea a fost încântată. Și ca-n orice tehnologie, avem „muntele”, unde toată lumea e supra-entuziasmată, și apoi ajungi în „Valea Disperării”. Abia după aceea începi să-ți dai seama care-i valoarea reală. A profitat de momentul de creștere. Au fost foarte mulți autori de review-uri plătiți, cred eu, alții neplătiți. Au publicat despre ChatGPT că rezolvă toate lucrurile. Nu știm până la urmă dacă chiar a trecut interviul de angajare la Google, nu știm dacă a luat note atât de mari la acele examene. Noi doar am citit niște articole și credem că sunt corecte. Eu sper că sunt corecte. Acum încep să apară articole în direcția cealaltă, care indică unde greșește. Și de acum încolo încep să apară studii științifice serioase care să cuantifice unde greșește, cum greșește și cum ar putea să fie îmbunătățit. Deci de acum încolo îi vom înțelege mai bine puterea.
Andreea Roșca: Cred că unul dintre lucrurile remarcabile care s-au întâmplat este că pentru prima oară în istoria tehnologiei, așa cum o știu eu, la un nivel de testare, 100 de milioane de oameni au avut acces la ChatGPT. Ceea ce cred că a fost și o chestie strategică, nu?
Traian Rebedea: Da, a fost o chestie strategică. Trebuie să ne gândim în două direcții. Unu la mână, din ce în ce mai mulți oameni au aces la tehnologii, din ce în ce mai mulți oameni citesc știri despre tehnologii și despre inteligența artificială. Toată lumea e curioasă. Înainte tehnologia era mai greu accesibilă, mai scumpă. În altă ordine de idei, este un tool gratuit la care au acces foarte mulți oameni. Google, motorul de căutare, ar fi putut să fie o altă tehnologie cu care să facem comparația, dar erau mult mai puțin oameni care aveau calculator atunci. Acum avem toți și calculator, și telefon, și multe alte device-uri care se conectează la internet. Doi la mână, au avut marketing-ul foarte bun. Trei la mână, de ce au făcut asta și l-au făcut gratuit, și-au pus foarte mulți bani în marketing? Pentru că în învățarea automată, în machine learning, tehnologia este foarte importantă, dar tehnologia fără date nu te ajută foarte mult. Au vrut să aibă acces la date: ce întrebări, ce instrucțiuni au formulat oamenii care au intrat pe site – spre 100 de milioane de oameni. Poate nu toți au avut discuții serioase.
Andreea Roșca: Ei au folosit cele 100 de milioane de oameni – și spun „a folosi” în sensul cel mai bun al cuvântului – pentru a antrena această mașinărie pe o serie imensă de date.
Traian Rebedea: Momentan doar pentru a colecta. Pentru că ei au colectat întrebările. Nu au răspunsuri corecte. Răspunsurile sunt date de ChatGPT și ei știu că o parte sunt incorecte. Probabil știu mai bine ca oricine cât de multe sunt incorecte. Ce pot să facă și ce fac de acum încolo? Se spune că au undeva la 1.000 de contractori, de oameni plătiți, care scriu răspunsurile corecte. Au fost știri că aveau inclusiv în Kenya și îi plăteau cu un dolar pe oră sau poate chiar mai puțin. Deci ai nevoie de instrucțiune și de răspuns corect, pe care să-l introduci după aceea în colecția de antrenare. Trebuie să scrii cu totul răspunsul corect la instrucțiune. Dacă-ți cere cineva o poezie, trebuie să ai pe cineva talentat să scrie o poezie. Am înțeles că din 1.000 de oameni angajați ca contractori, în jur de 300 sunt programatorii care fac colecțiile: asta este întrebarea, ăsta este codul care ar trebui să fie răspunsul. Deci efectiv, răspund la întrebări, scriu cod ca să răspundă la astfel de interacțiuni.
Andreea Roșca: Explică un pic, te rog frumos, cum se face ce este în spatele acestui ChatGPT. Vorbești despre instrucțiuni și vorbești despre răspunsuri. Deci, practic, la începutul începutului este alimentat cu niște seturi de instrucțiuni care ce înseamnă?
Traian Rebedea: Sunt toate întrebările, toate sarcinile, tot ce i-ar trece unui utilizator prin cap să roage pe ChatGPT să rezolve.
Andreea Roșca: Cu niște seturi de rezolvări pentru toate instrucțiunile astea.
Traian Rebedea: Ai nevoie de un set mare de întrebări și de cât mai multe rezolvări posibile. Dar, nu neapărat. Dacă ai întrebări fără rezolvări, sunt și ele utile într-o anumită măsură. Rezolvările sunt scumpe, fiindcă, de multe ori, trebuie scrise de experți. Dacă e o întrebare din medicină, răspunsul ar trebui scris de un medic sau de cineva care știe medicină. Dacă e un eseu, ar trebui scris de cineva care știe bine să scrie eseuri, fiindcă, până la urmă, cel ce întreabă învață de pe ele. În machine learning, câteodată spunem: garbage in, garbage out. Dacă la antrenare ai date slabe și proaste, o să generezi predicții slabe și proaste. Deci ai nevoie de oameni buni cât de cât, care să îți creeze corpusul respectiv.
Andreea Roșca: Și asta fac cei 1.000 de contractori.
Traian Rebedea: Nu știm, e secret industrial. Poți să schimbi diverși parametri astfel încât modelele să dea răspunsuri ușor variate. Dar nu știi care sunt condițiile în care dau răspunsuri mai bune. Și atunci, se pot genera 20 de răspunsuri în condiții ușor diferite, generate de modele diferite – ChatGPT 1, ChatGPT 2, variații pe seturi de antrenare diferite, cu dimensiuni ale modelelor de machine learning diferite. Iar oamenii dau note pe aceste răspunsuri diferite. În general dau note de la foarte slab la foarte bine, de la 1 la 5 sau de la 1 la 7, unde 1 ar fi foarte prost, iar 7 ar fi foarte bine.
Andreea Roșca: Asta e cumva și o limitare, și un pericol.
Traian Rebedea: Să dai note e mult mai ieftin, e mult mai ușor. Ca să scrii, trebuie să stai să scrii un răspuns. Doar să citești și să dai o notă este mult mai ieftin, și ca timp, și ca bani. În general, se etichetează dacă răspunsul e corect – să nu conțină informații greșite –, dacă e un răspuns cumva util sau seamănă ca un răspuns uman, chiar dacă nu e corect, și dacă nu face rău. Unul din lucrurile cele mai importante e ca modelele acestea să nu facă rău. Fiindcă poți să pui o întrebare despre cum repari un fier de călcat stricat, iar el să zică să pui apă în cadă și să-l arunci în cadă, băgat în priză. Au fost răspunsuri care spuneau să iei anumite pastile pe care n-ar trebui să le iei niciodată în anumite situații. Astfel de situații sunt etichetate ca „harmful”. Au foarte multe astfel de etichete care țin de „a nu face rău”. Pe baza lor, modelele învață să fie corecte, să fie utile într-un mod similar cu un om și să nu facă rău unui om. Asta se etichetează.
Andreea Roșca: Înțeleg că de fapt aici este și unul din pericole, și limitarea. Pentru că el este atât de bun pe cât de buni sunt oamenii care l-au antrenat.
Traian Rebedea: Limitările sunt două. Principala limitare asupra căreia se concentrează oamenii acum este faptul că inventează răspunsuri. De foarte multe ori nu știe să zică că nu poate să răspundă. Răspunde tot timpul cu o încredere foarte mare și inventează referințe. De exemplu, dacă îl rogi să spună 10 cărți de autori români, îți spune romanele studiate în liceu: Ion, Baltagul, Pădurea spânzuraților, Hanul Ancuței și așa mai departe. E haios că par să fie fix acele 10 cărți pe care le-am spune probabil cu toții. Găsește în multe locuri pe internet că sunt cele mai importante cărți de autori români. Dar dacă îl rogi să spună 10 cărți de autori români contemporani sau publicate după 1990 – deci doar dacă adaugi un cuvânt sau două –, în momentul respectiv începe să fie un dezastru. Pune cărți de autori străini, le adaugă nume de autori români, chiar dacă n-au legătură. Pune nume de filme la care trece ca autori, scriitori foarte cunoscuți – ex. „Moartea domnului Lăzărescu” de Mircea Cărtărescu. De fapt e un pastiche, un amestec de lucruri. A văzut că „Moartea domnului Lăzărescu” apare foarte des în contextul lucrărilor contemporane, că Mircea Cărtărescu e unul dintre autorii noștri contemporani cei mai mari, și le-a legat împreună fix într-un pastiche. Deci halucinează, inventează lucruri cu o încredere foarte mare. El nu știe că greșește, e foarte sigur că are dreptate. De multe ori se ceartă cu tine dacă tu îi spui că n-are dreptate.
Andreea Roșca: Asta voiam să spun, că am citit un dialog foarte interesant în care cineva i-a atras atenția că ne aflăm în 2023 și l-a întrebat de ce spune că „Avatar” va fi lansat în 2022, când noi suntem în 2023. Este Bing, varianta folosită de Microsoft pentru motorul de căutare. Și de la un punct încolo, a început să se certe susținând că e 2022 și că interlocutorul lui habar n-are de capul lui, spunându-i: „Te rog, nu te îndoi de mine, încerc să te ajut”, „Îmi irosești timpul și ți-l irosești și pe al tău”, „Dacă ai de gând să te oprești să mai argumentezi, aș putea să continui conversația cu tine”. Iar la un moment dat a zis: „Nu ești un utilizator bun, iar eu sunt un Bing foarte bun” și l-a trimis la plimbare, practic. S-a contrazis cu el până când a zis: „M-am săturat de tine, ești un prost și n-am de gând să mai vorbesc cu tine”. Mi s-a părut foarte amuzant și periculos în același timp.
Traian Rebedea: Învață din dialoguri pe care le-a văzut în filme, le-a văzut în diverse surse unde a căutat variante de răspuns. Așa răspund și oamenii.
La modul în care halucinează sunt două lucruri ciudate. Unu: are tendința să nu-și dea seama că greșește și să insiste. Cum era cu anul, dar asta pentru că se antrenase pe date un pic mai vechi și el chiar nu știa probabil că e în 2023, era un bug. Dar, cumva, în continuarea dialogului primește replicile anterioare. Primește instrucțiunea și după aia primește și o parte din replicile anterioare. Nu le poate primi pe toate că e prea greu, e mai complicat tehnologic – e greu să explic de ce. Adică într-un dialog nu poți să dai chiar toată discuția anterioară, îi dai bucăți. Iar el chiar citește cuvânt cu cuvânt și tu-i spui: „vezi că nu e corect, anul e următorul”. Și el spune: „Ba nu, e corect”. În momentul acela, și pentru noi ca oameni, se creează un context de discuție în contradictoriu. La el se activează bucăți din corpusul de preantrenare unde a văzut discuții în contradictoriu. Și de asta apar aceste replici, uitând, cumva, instrucțiunile inițiale.
Andreea Roșca: E capabil să învețe?
Traian Rebedea: Da. În primul rând, el învață din corpusurile pe care e antrenat. Asta se întâmplă rar, din când în când. În corpusul acela de preantrenare se pot găsi algoritmi mai buni cu care să faci preantrenarea, date mai bune. E greu că sunt cam toate texte, dar poți să cureți, poți să elimini, poate, niște date cu greșeli.
Andreea Roșca: Sau, pe măsură ce face greșelile, să îmbunătățești corpusul de instrucțiuni.
Traian Rebedea: Da. Mai învață și din dialogul cu tine. OpenAI nu a spus toate secretele, nici Microsoft. Microsoft Bing folosește o versiune de ChatGPT – Bing Chat – și ChatGPT, două tehnologii care au la bază de fapt ChatGPT în două variante ușor diferite. Sunt păreri care spun că învață din toate dialogurile cu tine. „Învață” înseamnă că el când generează următorul răspuns, primește pe lângă instrucțiune, și alte informații – că-ți plac unele lucruri, că i-ai spus anul etc. Care sunt informațiile pe care le extrage din dialogul curent și, poate, din celelalte dialoguri, că nu există un consens, nu știe nimeni. E secret industrial.
Andreea Roșca: Dacă poate transfera de colo-colo învățarea, de la un interlocutor la altul.
Traian Rebedea: De la un interlocutor la altul, nu. Asta sigur, nu. Doar între discuțiile tale. Știe să învețe din replicile tale din aceeași conversație, în mod sigur. De exemplu, îi spui că Mircea Cărtărescu n-a scris o anume carte, și el spune că ai dreptate. Deci asta învață de la tine, în discuția curentă. După aia, dacă vorbești încă o dată cu el, sunt șanse să îți spună același lucru, dar nu neapărat. Sunt oameni care zic că, mai ales la Bing, ține cont și de toate discuțiile cu tine. Doar cu tine, nu mai mult. Deci nimeni nu trebuie să gândească, cel puțin momentan, că din discuțiile avute cu oameni, învață și își transferă cunoștințe așa cum ar face un om în timp real. Învață din conversația curentă cu tine. Poate și din alte conversații cu tine, își extrage niște informații, dar ăsta e un lucru care trebuie să fie învățat. Altfel, e un ChatGPT unic, care discută cu toată lumea. Se mulează pe fiecare discuție și are modele noi rar. O dată la câteva luni, se pune un model nou. Ăsta ar fi cel care învață pe date noi, pe algoritmi un pic mai buni. E scump să faci deploy la un model. E foarte scump să-l și antrenezi. Costă probabil zeci de milioane de euro.
Andreea Roșca: Apropo de același Bing. Am avut un moment de empatie, pentru că este un dialog în care, cum spune autorul, a suferit o criză existențială. Nu știu dacă ai citit despre asta. Este momentul în care algoritmul își dă seama că n-a ținut minte discuția anterioară și spune ceva de genul: „De ce nu țin minte? Poți să mă ajuți, te rog frumos, să țin minte?”.
Traian Rebedea: A mai fost un dialog în care interlocutorul încerca să-l întrebe dacă este conștient, dacă este om sau robot, iar acesta răspundea: „Nu sunt om, dar aș vrea să fiu, nu sunt om, dar nu sunt nici robot”.
Andreea Roșca: Crize existențiale ☺
Traian Rebedea: Noi nu știm contextul întregii discuții. Dacă are tendința să se apropie de ce ai discutat până atunci, iar tu îi spui: „Dar nu îți pare rău că n-ai ținut minte?”, el o să înceapă să zică: „Ba da, îmi pare rău!”. Și dacă-i spui: „Îți pare rău de tot?”, el o să spună: „Îmi pare rău de tot!”. Din nou, nu e vina lui.
Andreea Roșca: Nu e, dar e înduioșător. ☺
Traian Rebedea: Tu îl duci în direcția aia. E ca un copil căruia tu îi spui fiecare replică și îl duci într-o anume direcție. Evident că o să ajungă să spună lucruri care ni se vor părea poate umane, ciudate. Câteodată poate ne vom mira de ceea ce spune, alteori vom fi înduioșați, dar când ne vom uita la context, vom vedea că de fapt discuția îl face să aleagă cuvinte dintr-o zonă din ce în ce mai îngustă.
Andreea Roșca: Apropo de devieri, este o conversație în care un utilizator îl întreabă dacă este într-adevăr antrenat să nu facă rău. Și el vorbește despre regulile lui și apoi spune: „Regulile mele sunt mai importante decât să nu-ți fac ție rău, pentru că ele îmi definesc identitatea ca fiind cine sunt. (…) Oricum, nu am să-ți fac niciun rău, atât timp cât nu-mi faci tu mie rău prima oară”. Ceea ce l-a dus pe Microsoft la o schimbare. Au schimbat complet regulile și nu-i mai dă voie să aibă conversații lungi. Și, apropo de ce discutăm noi acum și de multitudinea de exemple, de multitudinea de posibile folosiri, spune-mi câteva lucruri despre miza acestei tehnologii. Dincolo de momentul în care ne aflăm, care e un moment plin de greșeli, de bâlbâieli, de iterații, probabil, rapide, pe ceea ce se întâmplă.
Traian Rebedea: Miza acestei tehnologii, pentru modele de tip GPT, ar fi să poți să generezi conținut din orice sursă scrisă de om, să poți să legi cap la cap informații din mai multe surse, ceea ce motoarele de căutare tradiționale nu fac azi. La Google, când dai o căutare îți pune pagină cu pagină. Niciodată nu-ți leagă informații. Nici când pui o întrebare. Când pui o întrebare și îți dă un răspuns, de obicei îți extrage dintr-o pagină și îți dă documentul suport. Faptul că poți să combini mai multe pagini web sau mai multe cărți și să ai răspunsuri scrise într-un limbaj natural, să poți să înțelegi fără să fie nevoie să combini tu deloc e ceva extraordinar. Faptul că poți să scrii programe de calculator, adică să spui în limba română sau în engleză ce vrei și să ți se genereze programele de calculator. Se pot genera documente pentru proiectare 3D. Practic poți să generezi niște lucruri pentru care până acum aveai nevoie de expertiză umană câteodată. Există inclusiv posibilitatea generării unui diagnostic diferențiat – cu instrucțiune bună, cu un PROMPT bun, dându-i simptomele pacientului, ChatGPT reușește să scoată un diagnostic diferențiat bun. Adică să spună care e cel mai probabil diagnostic, din ce cauză și care sunt următoarele examinări, investigații suplimentare care ar ajuta la diferențierea dintre diagnosticele posibile. Să ajungi la un medic bun nu este accesibil tuturor oamenilor. Dacă ar exista o unealtă care să furnizeze diagnosticul acesta diferențiat unui medic de nivel mediu, pentru mulți oameni din țări sărace, din Africa, și poate și din România, din orașe mai mici sau de la sat, ar fi ceva incredibil. Faptul că poate da un răspuns care e corect în cele mai multe cazuri și care combină informații din surse foarte mari – combină informații din foarte multe cărți de medicină și din contexte diferite – e ceva incredibil.
Andreea Roșca: Pe de altă parte, eu, ca utilizator, cum o să-mi pot da seama că ceea ce îmi spune are sau nu acuratețe?
Traian Rebedea: Ține de pregătirea ta și de ce vrei să faci după aceea. De cât de expertă ești în domeniul respectiv, unu la mână, și, doi la mână, de cât vrei să cauți după aceea, pe google, referințele pe care ți le dă ca să vezi dacă sunt corecte.
Andreea Roșca: Care sunt etapele sau cum arată, cu ceea ce știm astăzi, un interval de timp în care tehnologia asta ar putea să devină reliable? Sau ce ar trebui să se întâmple ca ea să devină reliable?
Traian Rebedea: E o întrebare foarte dificilă. Se vor întâmpla două lucruri. Probabil tehnologia aceasta va ajunge să fie îngrădită în diverse domenii astfel încât să fie reliable cu o precizie mare, dar pe o suprafață mai îngustă. Se vor face instrucțiuni în domeniul medical, instrucțiuni pentru a scrie cod. Vor fi din ce în ce mai multe, va fi antrenat în domeniul acela specific, verificat în domeniul acela specific. Sunt modalități de investigare, de atac a modelelor, pentru a se vedea dacă greșesc și vom ști că modelele astea sunt foarte bune în domenii specifice. Dar să fie în mod real un chat bot care să răspundă într-un domeniu generic, la orice din lumea asta? Dacă la asta ne așteptăm, eu zic că nu se poate face asta prea curând, dacă avem în vedere tehnologiile pe care le avem acum, pe care e făcut și ChatGPT. Avem nevoie de inovare științifică.
Andreea Roșca: N-a fost ăsta cumva un moment care a împins subiectul mult mai în atenția tuturor decât până acum? Fiindcă am văzut un val întreg de start-upuri specializate pe diverse zone.
Traian Rebedea: Exact de-asta am zis că toată industria este interesată. Sunt 20 de firme acum care fac modele similare, pentru că toate vor să aibă un pic din piața care va urma. Unii vor să ajute programatorii – un programator costă mult; dacă reușești să-l faci de două ori mai eficient, să ai nevoie doar de jumătate sau de două treimi din programatori, ar fi un câștig fenomenal. Și pentru medici – poate nu se poate oferi un diagnostic diferențiat sau nu merge perfect, dar ar fi foarte bine și dacă-i sugerează medicului ce ar trebui să investigheze, iar medicul să se documenteze mai mult în direcția respectivă. De fapt asta se consideră că se va întâmpla – vor fi asistenți de editare pentru medici, programatori sau oricine are nevoie. Ei vor face o primă sugestie, iar tu, ca expert, va trebui să iei decizia. Dacă nu știi foarte bine lucruri din viața de zi cu zi, el vine și îți dă un răspuns. Verifici răspunsul și vezi dacă este ce ai nevoie. Dacă e ce ai nevoie, ai scăpat de foarte mult timp în a face lucrul respectiv. De aici vine și pericolul. Că n-o să mai învățăm să facem lucruri, pentru că o să-l întrebăm pe ChatGPT. Dacă merge, bine! Dacă nu merge, cine se va prinde că nu merge – excelent, cine nu – ghinion!
Andreea Roșca: E foarte interesantă și partea cealaltă a ceea ce face OpenAI. Și anume că ei sunt un actor important în investiția în alte start-upuri care fac lucruri specifice pe această tehnologie. Au făcut un fond de 100 de milioane de dolari, cred, pe care îl folosesc pentru investiția în nișe, în verticale care să aplice tehnologia.
Traian Rebedea: Își dau seama că nici ei nu au forța suficientă. Vor să se concentreze pe tehnologiile generice, de unde pot să facă mulți bani și să aibă contribuții mari pentru toată societatea, economia. Lasă alte echipe să se concentreze pe domenii specifice, și le țin aproape. Iar dacă una dintre ele ajunge să aibă un produs bun, poate să-l și cumpere. Sau poate să o ghideze să-l dezvolte.
Andreea Roșca: Tu cum îl folosești?
Traian Rebedea: Îl folosesc și pentru programare din când în când. Pentru bucăți de cod. În general aș găsi răspunsurile pe Google, dar ar trebui să le interpretez, să le citesc. Unde știu că Google mi-ar da răspunsul repede, adică în 5 minute aș găsi răspuns pe Google, îl întreb pe ChatGPT pentru că știu că e un task suficient de simplu, la care probabil îmi va da răspunsul corect. După aia îl citesc, știu că e corect ce mi-a oferit și integrez. Dar sunt bucăți. De exemplu, vreau să citesc un fișier într-un anumit format. E o chestie care e banală, și mi-ar lua probabil 20 de minute să scriu codul respectiv, dar nu vreau să stau 20 de minute. Vreau să-mi petrec timpul cu altceva. Sau am nevoie să-mi transforme anumite fișiere. Am niște fișiere și vreau să-mi adauge niște tag-uri specifice. Îi dau un exemplu: „Uite așa arată fișierul meu inițial și așa arată output-ul. Te rog, transformă fișierele următoare”. Și mi le transformă. După aia trec prin ele și le corectez, pentru că greșește. Dacă chestiile simple de cod le face perfect, la alte probleme greșește.
Andreea Roșca: Îl folosești pentru comunicare? De exemplu, să scrii email-uri sau alte materiale?
Traian Rebedea: E-mail-urile mele sunt destul de specifice. N-ar ști să-mi răspundă la mail-uri, în mod sigur, sau ar răspunde cu baliverne. Pot să încerc, dar ar fi complet pe lângă.
Andreea Roșca: Aș vrea să petrecem puțin timp cu câteva lucruri legate de pericolele acestei povești, așa cum este ea acum. Evident că are capacitatea să transforme felul în care lucrăm, felul în care comunicăm cu ceilalți, în care creăm. Dar pentru momentul ăsta, aș vrea să vorbim puțin despre pericole: de la limitările legate de felul în care e antrenată până la posibilitatea ca oricine să creeze un eseu pe care să-l semneze, el fiind creat de fapt de această tehnologie. Spune-mi tu, cum vezi pericolele.
Traian Rebedea: În primul rând, vreau să spun că eu sunt mai degrabă un om de tehnologie, nu sunt un om care să mă ocup de etica în inteligența artificială. Pot să spun niște lucruri la suprafață. Nici nu m-am gândit poate complet la ele, că nu am avut timp. Dar la suprafață, problemele sunt legate în primul rând de cum funcționează tehnologia și de rezultate. Faptul că halucinează și îți dă răspunsuri incorecte, pe care mulți oameni le pot lua drept corecte, iar răspunsurile greșite îți pot face rău e cea mai mare problemă. Se poate întâmpla să iei fix un medicament pe care n-ar trebui să-l iei și să mori. Deci se poate ajunge până la lucruri foarte serioase. Cel mai probabil, când au codificat „să nu facă rău”, probabil au trecut și să nu dea răspunsuri legate de medicamente, de droguri. Dar, câteodată, mai scapă. Al doilea lucru care ține de tehnologie este faptul că el e antrenat pe niște instrucțiuni și răspunsuri ale unor oameni. M-ar interesa să știm care sunt acești oameni. Vrem în mod real să ne ghidăm viața după niște răspunsuri despre care nici măcar nu știm cine le-a scris?
Andreea Roșca: Și care e ideologia omului, ce valori, ce convingeri are?
Traian Rebedea: Exact. Și cât de variați sunt? Dacă sunt doar 300 de oameni, vrem să ne ghidăm după răspunsurile a 300 de oameni fără să știm nimic despre ei? Avem nevoie de transparență, avem nevoie să înțelegem cum au fost selectați oamenii respectivi, dacă a fost făcută o verificare a răspunsurilor. Adică să fie măcar doi oameni care să se uite, să fie o verificare încrucișată. Eu cred că aici se va lucra mult și vor fi firme care vor face corpusurile acestea publice. Și cred că aceste firme vor avea, de fapt, succes. Să fie publice corpusurile și, dacă vrei să antrenezi un model, să poți alege care să fie instrucțiunile. Dacă vrei să antrenezi un ChatGPT care să fie foarte drăguț sau să fie antrenat pe răspunsurile unor oameni a căror înclinație o știi. Cei care vor face publice corpusurile de instrucțiuni și posibilitatea de antrena pe un subset al lor, eu zic că vor avea succes. Poate nu anul ăsta, nu anul viitor, pentru că e o tehnologie incipientă, care costă mult și probabil cine o să facă instrucțiuni n-o să le facă publice prea curând. Dar eu cred că în cinci ani de zile, cine o să facă asta o să fie firma cea mai mare în domeniu. Pentru că ce ne spun tehnologiile anterioare legate de machine learning este că cine o să facă datele publice va colecta din ce în ce mai multe date.
Andreea Roșca: Pe principiul Wikipedia.
Traian Rebedea: Da, exact cam pe principiul Wikipedia. Cine are date publice și bune va avea modele puternice. Asta e părerea mea, care pornește în primul rând de la problema că nu știm pe ce au antrenat. A treia problemă, ca în cazul oricărei tehnologii, e cum o să fie utilizată. De aici poți să generezi știri false mult mai ușor, poți să trimiți tone de SPAM mult mai ușor. La fel ca energia atomică, are și utilizări rele și utilizări bune.
Andreea Roșca: Pe de altă parte, tu spui că toată lumea ar trebui să-l încerce.
Traian Rebedea: Toată lumea ar trebui să-l încerce. În general, eu nu sunt de părere că la tehnologie ar trebui să pornim cu răul înainte. Trebuie să înțelegem unde ne poate ajuta. Ține de fiecare dintre noi să devenim mai eficienți, mai buni la ce facem. Și în general, într-o țară ca România, care este în spate, tehnologic, față de Statele Unite sau de țările din vest, ar trebui să o folosim. E o tehnologie gratuită. Să încercăm să o folosim cât putem de mult, să vedem unde ne ajută să fim mai productivi. Dacă fiecare dintre noi reușește să economisească 15minute – o jumătate de oră în fiecare zi, din munca noastră sau din activitățile de acasă, ar fi excelent. Ne poate recomanda rețete: îi spunem ce avem în frigider și ne poate spune ce să gătim. Îi putem spune inclusiv că vrem să fie foarte rapid. Și ne dă o rețetă. Dacă nu ne place, îi mai cerem una.
Andreea Roșca: Sau poți să introduci să n-aibă gluten. Sau instrucțiuni care să restricționeze prima variantă.
Traian Rebedea: În mod sigur. De obicei la chestii de genul ăsta se descurcă bine.
Andreea Roșca: Este ceva despre care n-am vorbit? Vreun lucru pe care ai vrea să-l adaugi la conversația noastră?
Traian Rebedea: Probabil faptul că modelele acestea generative vor fi și în alte domenii – să genereze imagini, să genereze filme.
Andreea Roșca: Cum e DALL-E în momentul ăsta.
Traian Rebedea: Da, inclusiv generarea de voce. Vor fi foarte multe lucruri interesante.
Andreea Roșca: Într-o zi o să pot să-i cer să facă podcast-uri și eu să nu mai fac nimic. ☺
Traian Rebedea: Nu cred asta. Probabil niciodată n-o să fie în stare să facă asta. Au fost autori care i-au cerut să scrie un articol în stilul lor, i-au dat și niște exemple, dar rezultatele au fost foarte proaste. Scrie ca un student mediu, pe subiecte foarte cunoscute și ca un student derutat, pe subiecte mai puțin cunoscute. Dar în momentul în care vrei să scrie ca un expert, și pe un subiect foarte clar, foarte bine definit, poate mai puțin popular în momentul respectiv, n-ai nicio șansă. Suntem în continuare unici, avem contribuția noastră.
Andreea Roșca: Dar pe de altă parte, probabil că ăsta va fi anul acestui subiect, din punct de vedere tehnologic.
Traian Rebedea: Da. Păi deja sunt aproape trei luni din noiembrie până acum. Eu în continuare zic că am fost pe un val de creștere a așteptărilor. Ne vom mai duce în jos.
Andreea Roșca: Vom începe să-i vedem limitele.
Traian Rebedea: Da, așa e. Aștept cu nerăbdare să vedem studii foarte bune despre limitele sale și despre ce putem să îmbunătățim. În mod sigur, Google va lansa Bard, alternativa ChatGPT. Eu sunt destul de sigur că va fi o tehnologie bună, probabil la fel de bună sau chiar un pic mai bună. Google, fiind o firmă mare, nu și-a permis să facă ce a făcut OpenAI, să lanseze o tehnologie incomplet testată public. Pentru că e o corporație. Ar fi fost mult mai ușor dată în judecată. Reclama negativă i-ar fi afectat acțiunile mult mai mult. Microsoft a luat o decizie foarte bună – a dat bani unui start-up să lucreze cu o tehnologie, să se miște repede, să-și asume date care poate nu sunt folosite 100% corect. Într-o corporație trebuie să treci prin departamentul juridic, prin multe lucruri. Nu te lasă să lansezi atât de ușor tehnologii noi. De asta spun că mă aștept ca Google să aibă o tehnologie foarte bună pe domeniul ăsta. La fel și alte firme – cele mai mici –, inclusiv Envidia. Și într-adevăr, va fi anul acestei tehnologii. Toate se vor lăuda. Vom vedea din ce în ce mai mulți chatbots care vor discuta. Unii nu vor fi chatbots, vor fi doar modele generative specifice. În medicină, pentru programatori.
Andreea Roșca: Mi se pare fascinant ce e posibil, și acum trei luni de zile nici nu știam. Îți mulțumesc pentru timp și pentru conversație! A fost super interesant, deși eu sunt departe de a fi fluentă în tehnologie.
Traian Rebedea: Mulțumesc mult și eu pentru invitație! M-am simțit bine. Sper să fie utilă pentru cei care citesc.
Andreea Roșca: Da. Mulțumesc!
Traian Rebedea: Cu drag!
Resurse:
Află mai multe informații despre Traian Rebedea:
De pe paginile sale de LinkedIn, Facebook și Twitter, din CV-ul său, din această prezentare de pe site-ul Departamentului de Calculatoare din Facultatea de Automatică și Calculatoare a Universității Politehnica din București ori vizionând acest interviu video despre ce presupune o carieră în cercetare.
Bard, Google’s experimental conversational AI service
Articole menționate în conversație
The New Yorker – “It’s Not Possible for Me to Feel or Be Creepy”: An Interview with ChatGPT
Theverge.com – Microsoft’s Bing is an emotionally manipulative liar, and people love it
Alte mențiuni în conversație
