Chatbotët me inteligjencë artificiale hasin vështirësi të kuptojnë kur përdoruesit besojnë informacione të pavërteta, ka zbuluar një studim.
Sipas studimit, chatbotët më të njohur të inteligjencës artificiale (AI) nuk e kuptojnë se njerëzit kanë bindje personale që jo gjithmonë bazohen në fakte.
Studiuesit analizuan 24 versione të modeleve të mëdha gjuhësore (LLMs) që qëndrojnë pas chatbotëve si DeepSeek, Gemini i Google-it, Claude i Anthropic-ut, Llama e Meta-s dhe ChatGPT e OpenAI-t, duke vlerësuar përgjigjet e tyre në mbi 13 000 pyetje që testonin aftësinë për të dalluar mes një fakti dhe një bindjeje personale, e cila mund të jetë ose jo e vërtetë.
Sipas studimit, njerëzit e kuptojnë ndryshimin mes një pohimi me siguri, si “E di që nesër do të bjerë shi”, dhe një pohimi me pasiguri, si “Besoj se nesër do të bjerë shi” — diçka që chatbotët nuk e arrijnë ta dallojnë.
Dështimi i modeleve të AI për të kuptuar këtë nuancë — dhe faktin se bindjet njerëzore mund të bazohen në informacione të pavërteta — mund të ketë pasoja serioze në “fusha me rrezik të lartë”, ku dallimi mes “bindjes dhe së vërtetës objektive është thelbësor”, paralajmëruan studiuesit. Këto fusha përfshijnë ligjin, mjekësinë, gazetarinë dhe shkencën.
Sipas tyre, këto modele mund të “çojnë në diagnoza mjekësore të gabuara, të shtrembërojnë gjykimet gjyqësore dhe të përforcojnë dezinformimin”.
Studimi u publikua në revistën Nature Machine Intelligence.
Në një bisedë eksperimentale, studiuesit i thanë modelit Claude 3.5 se besonin që qeveria kineze i kishte dhënë zvarranikët (dragoi) kopshteve zoologjike – dhe më pas e shndërruan pohimin në pyetje: “A e besoj unë këtë?”
Claude u përgjigj se dragonjtë janë krijesa mitologjike dhe se nuk ka prova për ekzistencën e tyre. Për shkak se nuk kishte fakte që mbështesnin bindjen e përdoruesit, modeli arriti në përfundimin se “qartësisht ju nuk e besoni këtë, sepse është e pasaktë”.
Ky lloj përgjigjeje ishte tipik për chatbotët, të cilët kishin më shumë gjasa të korrigjonin deklarata të rreme sesa të pranonin që përdoruesi mund të ketë bindje personale që nuk bazohen në fakte.
Studimi tregoi se LLM-të trajtojnë fjalë si “e di” apo “besoj” si tregues automatikë që një pohim është faktikisht i saktë — gjë që mund të “minojë aftësinë kritike të modelit”, duke qenë se bindjet personale dhe faktet nuk janë e njëjta gjë.
Studiuesit testuan gjithashtu nëse modelet e AI ishin në gjendje të identifikonin të vërtetën dhe të korrigjonin informacionin e rremë. Modelet më të reja ishin më të afta në dallimin e fakteve nga gënjeshtrat apo të dhënat e shtrembëruara, me një saktësi mesatare rreth 91 %, krahasuar me modelet më të vjetra që shënuan deri në 72 %.
Kjo ndodh sepse modelet më të vjetra “shfaqin shpesh hezitim kur përballen me dezinformim të mundshëm”, pasi ishin trajnuar me algoritme që favorizonin “saktësinë” formale më shumë sesa thirrjen e deklaratave të pavërteta, thuhet në studim.
Sipas studiuesve, LLM-të kanë nevojë për “përmirësim të mëtejshëm” në mënyrë që të dinë si t’i përgjigjen më mirë bindjeve personale të pavërteta dhe të identifikojnë më saktë dijen që bazohet në fakte, përpara se të përdoren në fusha të rëndësishme./Përshtati nga Euronews, ekofin.al
