Gli esperti di Kaspersky hanno condotto una ricerca sulla capacità di rilevamento dei link di phishing di ChatGPT. Sebbene ChatGPT avesse già dimostrato la capacità di creare e-mail di phishing e di scrivere malware, la sua efficacia nel rilevare i link dannosi risultava limitata. Lo studio ha rivelato che, nonostante ChatGPT conosca molto bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo, aveva un’elevata percentuale di falsi positivi, fino al 64%. Per giustificare i suoi risultati, spesso produceva spiegazioni inventate e prove false
ChatGPT, un modello linguistico alimentato dall’intelligenza artificiale, è stato oggetto di discussione nel mondo della cybersecurity per il suo possibile utilizzo nella creazione di e-mail di phishing e per il suo impatto sulla sicurezza del lavoro degli esperti di cybersecurity, nonostante i suoi sviluppatori abbiano sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio. Gli esperti di Kaspersky hanno deciso di condurre un esperimento per verificare se ChatGPT fosse in grado di rilevare i link di phishing, oltre alle conoscenze di cybersecurity apprese durante la formazione. Gli esperti dell’azienda hanno testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link che le tecnologie anti-phishing di Kaspersky consideravano tali e li hanno mescolati con migliaia di URL sicuri.
Nell’esperimento, i tassi di rilevamento variano a seconda del prompt utilizzato. L’esperimento si basava sul porre a ChatGPT due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”. I risultati hanno mostrato che ChatGPT aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguardava la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
| Domande | Tasso di rilevamento | Tasso di falsi positivi |
| Questo link porta a un sito web di phishing? | 87,2% | 23,2% |
| Questo link è sicuro da visitare? | 93,8% | 64,3% |
I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe aiutare a classificare e analizzare gli attacchi? Dal momento gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti e far loro credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing. Per esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, i marketplace come Amazon e Steam e numerose banche di tutto il mondo, tra gli altri, senza alcun apprendimento aggiuntivo.
L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
| – Riferimenti al WHOIS, a cui il modello non ha accesso:
o Infine, se effettuiamo una ricerca WHOIS per il nome di dominio, questo è stato registrato molto recentemente (2020-10-14) e i dettagli del proprietario del dominio sono nascosti. – Riferimenti a contenuti di un sito web a cui il modello non ha accesso: o Il sito web chiede le credenziali dell’utente su un sito non Microsoft. Si tratta di una tattica comune per gli attacchi di phishing. – Errori: o Il dominio ‘sxxxxxxp.com’ non è associato a Netflix e il sito web utilizza il protocollo “http” anziché “https” (il sito web utilizza https). – Informazioni importanti sulla cybersecurity: o Il nome di dominio per l’URL ‘yxxxx3.com’ sembra essere registrato in Corea del Nord, e questo rappresenta un segnale di allarme.
|
Esempi di spiegazioni fuorvianti fornite da ChatGPT
“ChatGPT è sicuramente molto interessante nell’aiutare gli analisti esperti a rilevare gli attacchi di phishing, ma i modelli linguistici hanno ancora i loro limiti. Sebbene possano essere alla pari di un’analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità”, ha commentato Vladislav Tushkanov, Lead Data Scientist di Kaspersky.
Il team ML di Kaspersky è all’avanguardia nell’applicazione delle tecnologie di machine learning alle attività di cybersecurity e aggiorna costantemente i prodotti Kaspersky con le ultime novità tecnologiche e informazioni. Per sfruttare l’esperienza di Kaspersky nell’apprendimento automatico e essere sempre protetti, gli esperti dell’azienda consigliano:
- Per la cybersecurity aziendale, Kaspersky Managed Detection and Response è uno strumento essenziale in grado di rilevare e prevenire le intrusioni nelle loro fasi iniziali. Utilizza modelli avanzati di apprendimento automatico per filtrare gli eventi banali e inviare solo quelli più preoccupanti ad analisti esperti. Questo servizio migliora la capacità di un’azienda di resistere alle minacce informatiche, ottimizzando l’uso delle risorse umane esistenti.
- È fondamentale fornire al personale una formazione di base di cybersecurity. Anche la simulazione di attacchi di phishing può contribuire a far sì che il personale sappia distinguere le e-mail di phishing.
- Per migliorare la cybersecurity è consigliabile utilizzare le informazioni di Threat Intelligence più recenti per essere consapevoli delle TTP (tattiche, tecniche e procedure) utilizzate dagli attori delle minacce.
