Kodėl kartais DI kalba pievas?

POV: Klausi dirbtinį intelektą apie Lietuvos prezidentus. Jis sako, kad Gitanas Nausėda yra trečias prezidentas. Tada prideda, kad prieš jį buvo Dalia Grybauskaitė ir Rolandas Paksas.

Problema: Viskas tiesa, bet jis „pamiršo” Valdą Adamkų, kuris buvo prezidentu net kelis kartus.

Arba klausi apie geriausią kavą Vilniuje ir dirbtinis intelektas patikimai sako, kad „Caffeine” kavinė Pilies gatvėje yra populiari tarp vietinių. Skamba tikėtinai, turi adresą, bet atėjus…tokios kavinės nėra.

Tai vadinama haliucinacijos

Dirbtinis intelektas „prisigalvoja” faktus, kurie skamba kaip tiesa, bet yra neteisingi. Ne todėl, kad nori apgauti, o todėl, kad jis tiesiog labai greitai skaičiuoja tikimybes ir spėja, kokį atsakymą nori gauti. Prisimeni, pasakojau apie tai antroje pamokoje?

Kodėl dirbtinis intelektas „prisigalvoja”? 5 pagrindinės priežastys

1

Šališki mokymosi duomenys

Dirbtinis intelektas mokomas iš milijardų tekstų, bet ne visi tekstai yra teisingi. Jei internete 100 kartų parašyta, kad „kava mažina vėžio riziką”, o 10 kartų – kad „padidina”, DI linkęs rinktis pirmą variantą.

Lietuvos kontekstas: Apie Lietuvą anglų kalba rašoma mažai, todėl DI dažnai „užpildo spragas” panašiais faktais apie kitas šalis.

2

Duomenų tikslumas

DI nežino skirtimo tarp „aš tikiu” ir „aš žinau”. Jis visada atsako tikru tonu, net jei spėja. Žmogus, kuris nežino, pasakytų „nežinau”. Tačiau DI sako netiesą, bet skamba įtikinamai.

Pavyzdys: „Vilniaus universitetas įkurtas 1579 metais” (teisinga) vs „Kauno technologijos universitetas įkurtas 1925 metais” (neteisinga, bet skamba tikėtinai).

3

Klišė

DI puikiai atpažįsta šablonus, bet kartais „pamato” šabloną ten, kur jo nėra. Jei dažnai rašoma „X mieste yra Y kavinė”, DI „išmoksta” kurti panašius sakinius su neegzistuojančiomis kavinėmis ir jų pavadinimus.

Pavojus: Kuo tikslesnės detalės (adresas, telefonas, darbo laikas), tuo labiau atrodo tikra informacija.

4

Kurybiškumo (angl. temperature) nustatymai

DI turi „kūrybiškumo” nustatymus nuo 0 iki 1. Žemas kūrybiškumas (0-0.3) = tikslūs, nuobodūs atsakymai – DI visada renkasi labiausiai tikėtiną žodį. Aukštas kūrybiškumas (0.8-1) = kūrybiški, bet mažiau tikslūs atsakymai – DI eksperimentuoja su žodžių pasirinkimais.

Nustatymai: Tikslūs nustatymai yra galimi kuriant dirbtinio intelekto chatbotus. Paprastame web čato lange galima parašyti: „Išjunk kūrybiškumą ir duok tikslų atsakymą”, „Atsakyk konservatyviai ir tiksliai”, „Būk kūrybiškas ir siūlyk nestandartinius sprendimus”, „Galvok out-of-the-box ir siūlyk drąsius sprendimus”.

Custom GPT’s: Galima nustatyti instrukcijas, kad visada atsakytų konkrečiu stiliumi.

5

Konteksto perkrovimas

Kai konteksto langas perpildomas, DI „pamiršta” svarbią pradžios informaciją ir pradeda spėti remiantis nepilna informacija. Tai kaip bandyti prisiminti 2 valandų filmo siužetą po to, kai pamatei tik paskutinius 10 minučių.

Sprendimas: Trumpesni, suskaidyti pokalbiai arba periodinis konteksto „valymas” su nauja instrukcija.

Dirbtinis intelektas nesako „nežinau”, nes jis visada gali sugalvoti kažką, kas skamba tikėtinai. Tai kaip draugas, kuris niekad neprisipažįsta, kad nežino kelio, bet visada duoda kryptį.

🚩 Red flags: kaip atpažinti, kada DI „pievas kalba”?

Įtartinos frazės ir formuluotės:

„Pagal naujausius tyrimus…” – be šaltinio nuorodos.
DI dažnai naudoja šią frazę, kad skambėtų patikimai, bet neturi prieigos prie „naujausių” tyrimų. Jeigu naudoji ChatGPT ar kitus web pokalbių robotus – visada prašyk pateikti nuorodas į tyrimus ar straipsnius.
„Dažniausiai rekomenduojama…” arba „Ekspertai teigia…”
Be konkretaus eksperto vardo ar tyrimo – red flag. Net sakyčiau visas bordinis, kaip ir su „naujaisiais tyrimais”. Parašyk: „Kokių ekspertų ir kokių tyrimų pagrindu?”
Prieštaringi faktai tame pačiame atsakyme:
Jei DI sako, kad kažkas įvyko „2020 metais” ir vėliau „po 5 metų, 2024-aisiais” – matematika nesutampa. Visada patikrink datas ir skaičius – DI prastai skaičiuoja.
Perdetai „tobulas” atsakymas:
Jei viskas per daug puikiai sutampa ir nėra jokių niuansų ar išlygų – įtartina. Realybėje beveik visada yra „bet”, „tačiau”, „priklauso nuo”. Jei DI sako, kad „visada” ar „niekad” – atsargiai.

Praktiniai būdai haliucinacijų rizikos mažinimui:

6 patikrinti metodai:

1. Naudok Perplexity research’ui

Jei reikia patikimų faktų, geriausia naudoti Perplexity – jis iškart pateikia nuorodas į visus šaltinius, net YouTube ir Reddit. Kiti DI modeliai dažnai atsako be šaltinių.

Perplexity: „Vilniaus oro uostas 2023 m. aptarnavo 5.1 mln keleivių [šaltinis: vno.lt]”
ChatGPT: „Vilniaus oro uostas aptarnauja apie 4-5 mln keleivių per metus”
Registracijos nuoroda →

2. Patikrink konteksto lango dydį prieš tekstų analizę

Jei nori analizuoti dokumentus, būtinai patikrink DI konteksto langą. Kuo didesnis – tuo daugiau duomenų galima „sumaitinti” be informacijos praradimo.

  • GPT-4: 128K tokenų = ~100 puslapių
  • Claude Sonnet: 200K tokenų = ~150 puslapių
  • Gemini Pro: 2M tokenų = ~1500 puslapių
Daugiau apie modelių ribotumus skaityk 3-ioje pamokoje →

3. Prašyk šaltinių

Papildyk savo užklausą: „…ir nurodyk šaltinius” arba „…su nuorodomis į patikimus šaltinius”

„Parašyk kuo yra išskirtinis Vilniaus istorijos muziejus Europoje ir nurodyk oficialius šaltinius”

4. Naudok „step-by-step” prašymus

„Žingsnis po žingsnio paaiškink, kaip apskaičiuoti PVM Lietuvoje, ir nurodyk, kur galiu patikrinti šią informaciją”

5. Prašyk DI pripažinti neaiškumus

„Jei nesi tikras dėl informacijos, vietoje prielaidų rašyk „trūksta informacijos” bei užduok papildomai reikiamus klausimus arba pateik instrukcijas, kokios informacijos tau trūksta tam kad pateikti pilną atsakymą”

Kada pasikliauti DI vs kada nepasikliauti

Galima pasikliauti:

  • Bendriems paaiškinimams ir konceptams
  • Kūrybiniams projektams (teksto rašymas, idėjos)
  • Programavimo pagalbai (sintaksė, algoritmai)
  • Formuluočių gerinimui

Nepasikliauti:

  • Medicinos patarimams ir diagnozėms
  • Finansiniams sprendimams
  • Teisinėms konsultacijoms
  • Konkretiems faktams be šaltinių
DI – puikus asistentas idėjoms ir konceptams. Jis geriau kuria nei tikrina. Jis – kaip išprotejęs profesorius.

Haliucinacijos – tai dirbtinio intelekto ypatybė, o ne sisteminė klaida. Dirbtinis intelektas sukurtas generuoti tekstą, kuris skamba žmogiškai, o ne tikrinti faktus. Kai supranti šį skirtumą, gali naudotis DI efektyviai ir saugiai.

DI visada atsako, net jei nežino. Tavo darbas – atskirti kūrybą nuo faktų.

Kitoje pamokoje sužinosi:

Kaip priversti DI kalbėti tavo balsu?

Išmoksi personalizuoti DI atsakymus, kad jie atitiktų tavo stilių ir poreikius!