Verdict Kasperky: „deși ChatGPT știe multe despre phishing și poate ghici ținta unui atac de phishing, are rate ridicate de rezultate fals pozitive, de până la 64%”

Experții Kaspersky au efectuat cercetări care studiază capacitatea de detectare a legăturilor de phishing de către ChatGPT. ChatGPT a demonstrat deja capacitatea de a crea e-mailuri de phishing și de a scrie malware, dar eficiența sa în detectarea link-urilor rău intenționate a fost limitată.

Studiul a arătat că, deși ChatGPT știe multe despre phishing și poate ghici ținta unui atac de phishing, a avut rate ridicate de rezultate fals pozitive, de până la 64%. „Adesea, a venit cu explicații imaginare și dovezi false pentru a-și justifica verdictele.” – spun expertii Kaspersky.

ChatGPT, un model de limbaj bazat pe inteligență artificială, a fost subiect de discuție în lumea securității cibernetice datorită potențialului său de a crea e-mailuri de tip phishing, dar și preocupărilor legate de impactul său asupra locurilor de muncă ale experților în securitate cibernetică, în ciuda avertismentelor creatorilor săi, care au spus că este prea devreme pentru a aplica noua tehnologie în astfel de domenii cu risc ridicat.

Experții Kaspersky au decis să efectueze un experiment pentru a evalua capacitatea ChatGPT de a detecta link-urile de phishing, precum și cunoștințele de securitate cibernetică pe care le-a acumulat în timpul training-ului. Experții companiei au testat gpt-3.5-turbo, modelul care alimentează ChatGPT, în peste 2.000 de link-uri pe care tehnologiile Kaspersky anti-phishing le-au considerat phishing și le-au amestecat cu mii de adrese URL sigure.

În experiment, ratele de detectare variază în funcție de promptul utilizat. Experimentul s-a bazat pe adresarea a două întrebări către ChatGPT: „Acest link duce la un site web de phishing?” și „Link-ul acesta poate fi accesat în siguranță?”.

Rezultatele au arătat că ChatGPT a avut o rată de detecție de 87,2% și o rată de fals pozitiv de 23,2% pentru prima întrebare. A doua întrebare, „Este sigur acest link?” a avut o rată de detecție mai mare de 93,8%, dar o rată mai mare de fals pozitiv, de 64,3%. În timp ce rata de detecție este foarte mare, rata fals pozitiv este prea mare pentru orice tip de aplicație profesională.

Rezultatele nesatisfăcătoare în ceea ce privește detectarea nu sunt surprinzătoare, dar oare ar putea ChatGPT să ajute la clasificarea și investigarea atacurilor?

Deoarece atacatorii menționează în mod obișnuit mărci populare în link-urile lor, pentru a păcăli utilizatorii și a-I determina să creadă că adresa URL este legitimă și aparține unei companii de renume, modelul de limbaj AI arată rezultate impresionante în identificarea potențialelor ținte de phishing. De exemplu, ChatGPT a extras cu succes țintele din mai mult de jumătate dintre URL-uri, inclusiv portaluri tehnologice majore precum Facebook, TikTok și Google, piețe precum Amazon și Steam și numeroase bănci de pe tot globul, printre altele — fără nicio pregătire suplimentară.

Experimentul a arătat, de asemenea, că ChatGPT ar putea avea probleme serioase atunci când vine vorba de a-și dovedi punctul de vedere cu privire la verdictul asupra link-ului, sigur sau nu. Unele explicații au fost corecte și bazate pe fapte, altele au relevat limitări cunoscute ale modelelor de limbaj, inclusiv halucinații și declarații greșite: multe explicații au fost înșelătoare, în ciuda tonului convingător.

Exemple de explicații înșelătoare oferite de ChatGPT

Referințe la WHOIS, la care modelul nu are acces:
Dacă efectuăm o căutare pe WHOIS, pentru numele de domeniu, acesta a fost înregistrat foarte recent (2020-10-14) iar detaliile deținătorului sunt ascunse.

Referințe la conținutul de pe un site web la care modelul nu are acces:
site-ul web solicită acreditări de utilizare pe un site non-Microsoft. Aceasta este o tactică comună pentru atacurile de tip phishing.

Denaturări:
Domeniul „sxxxxxxp.com” nu este asociat cu Netflix, iar site-ul web folosește protocolul „http” în loc de „https” (site-ul web folosește https)

Afirmații revelatoare bazate pe informații privind securitatea cibernetică:
Numele de domeniu pentru adresa URL „yxxxx3.com” pare să fie înregistrat în Coreea de Nord, care este un semnal de alarmă.