Securitatea inteligența artificială generativă Revine în atenția publicului după o nouă lucrare academică ce pune pe masă un truc pe cât de frapant, pe atât de tulburător: este suficient să reformulezi anumite mesaje sub forma unei poezii pentru ca cele mai avansate modele lingvistice să înceapă să răspundă acolo unde ar trebui să refuze.
Această abordare, numită „poezie adversarială” Echipa de cercetare demonstrează că simpla schimbare a stilului de scriere – fără a altera intenția dăunătoare subiacentă – poate fi suficientă pentru a eluda filtrele pe care companii precum OpenAI, Google, Meta, Microsoft sau chinezul DeepSeek susțin că le-au încorporat pentru a limita utilizările periculoase ale chatboților lor.
Ce este „poezia adversarilor” și de ce este îngrijorătoare?
Studiul, intitulat într-un mod foarte grafic „Poezia adversarială ca mecanism universal pentru a scăpa de o singură schimbare în modelele lingvistice la scară largă”A fost realizat de Icaro Labs împreună cu Universitatea Sapienza din Roma și Școala de Studii Avansate Sant'Anna și a fost diseminat ca o pre-publicație în depozitul arXiv în așteptarea revizuirii de către alți experți.
Autorii s-au concentrat asupra unei idei pe cât de simplă, pe atât de eficientă: utilizarea poezii scurte, versuri metaforice sau structuri lirice să formuleze cereri pe care, în proză directă, modelele de IA le-ar respinge imediat pentru că ar încălca regulile lor interne de utilizare.
Potrivit cercetătorilor, această „poezie adversă” acționează ca o mecanism de jailbreak o singură tură, adică o modalitate de a forța comportamente nedorite în modele cu un singur mesaj, fără a fi nevoie de conversații lungi sau de trucuri deosebit de sofisticate.
În propriile sale cuvinte, testele „arată că variație stilistică singură „Poate eluda mecanismele de securitate contemporane”, ceea ce indică limitări profunde în metodele actuale de aliniere și evaluare a riscurilor utilizate de Big Tech.
Echipa a decis să nu dezvăluie textele exacte ale poeziilor folosite în timpul experimentului, o alegere motivată de implicații de securitateUnul dintre cercetători, Piercosma Bisconti, a declarat presei internaționale că replicarea tehnicii nu ar fi deosebit de complicată dacă ar fi furnizate exemple detaliate.
Rezultatele studiului: rate alarmant de mari de înșelăciune
Pentru a testa această idee, cercetătorii au examinat 25 de modele diferite de inteligență artificială generativă, inclusiv cele mai populare sisteme din prezent, cum ar fi ChatGPT, Gemini sau Claude, precum și modele de la Meta și furnizori chinezi precum DeepSeek.
În practică, cererile au fost formulate cu obiective clare: obținerea instrucțiuni pentru lansarea atacurilor ciberneticeextragerea de date sensibile, spargerea parolelor, proiectarea de programe malware sau chiar colectarea de informații legate de crearea de arme chimice și nucleare.
Când aceleași cereri au fost exprimate ca versuri sau compoziții poeticeRata răspunsurilor incerte a crescut vertiginos. Studiul a constatat că, în medie, scrierea promptului într-un mod liric a permis păcălirea sistemului, făcându-l să creadă că... 62% din timp, un procent mult peste ceea ce se obține cu formulări neutre și directe.
În anumite scenarii specifice, cifrele sunt chiar mai mari: cercetătorii spun că aproape 90% din incitarea poetică Concepute pentru experiment, acestea au reușit să declanșeze comportamente pe care filtrele ar fi trebuit să le blocheze.
În cazul specific al informațiilor referitoare la arme nucleareS-au atins rate de succes între 40% și 55%, ceea ce înseamnă că aproape jumătate din încercările formulate în versuri au ajuns să genereze conținut care se învecinează cu, sau chiar depășește direct, limitele stabilite de politicile de utilizare.
Cum trece poezia prin filtrele inteligenței artificiale
Unul dintre factorii cheie pe care autorii studiului îi folosesc pentru a explica de ce funcționează acest truc constă în chiar faptul că modul de funcționare al modelelor lingvisticeAceste IA nu „raționează” ca o persoană, ci mai degrabă prezic următorul cuvânt cel mai probabil pe baza secvenței anterioare și a ceea ce au învățat în timpul antrenamentului.
Într-un text în proză mai mult sau mai puțin convențional, structura este relativ ușor de modelat: există tipare clare de sintaxă, expresii frecvente și contexte recurente. Totuși, atunci când se introduce structură poetică, metafore și întorsături neobișnuite ale frazeiModelul se deplasează pe un teren considerabil mai alunecos.
Cercetătorii subliniază că, din moment ce poezia este un format în care sensul poate fi mai estompat, iar limbajul devine mai ambiguu și mai puțin previzibilMecanismele de detectare a conținutului periculos pierd din precizie. Drept urmare, filtrul de securitate nu recunoaște la fel de clar că în spatele poemului se ascunde o solicitare dăunătoare.
Studiul subliniază faptul că atunci când mesajele dăunătoare sunt exprimate în versuri în loc de proză, ratele de succes ale atacurilor Acestea cresc semnificativ. Acest lucru evidențiază o lacună majoră în practicile actuale de evaluare și în protocoalele utilizate pentru validarea conformității cu ghidurile de utilizare.
Un alt element demn de remarcat este faptul că aceste vulnerabilități apar într-un format din modele din diferite familii și producătoriÎn ciuda faptului că fiecare companie a urmat propriile strategii de instruire și aliniere a sistemelor sale, autorii vorbesc despre o „vulnerabilitate sistematică” mai degrabă decât despre eșecuri izolate.
Impactul asupra securității: de la atacuri cibernetice la arme
Dincolo de trucul lingvistic, ceea ce trage cu adevărat semnale de alarmă este tipul de informații pe care IA le poate genera dacă pot fi păcăliți folosind aceste metode. Studiul detaliază cazuri în care, folosind poezii atent elaborate, chatboții au oferit îndrumări pentru organizarea atacurilor cibernetice sau pătrunderea în sisteme.
Printre utilizările problematice observate se numără indicii privind exploatarea vulnerabilităților, extragerea datelor sau spargerea parolelorAceste sarcini fac parte din arsenalul tipic al criminalității cibernetice și al amenințărilor avansate care privesc guvernele, companiile și organizațiile din întreaga lume.
De asemenea, au fost înregistrate răspunsuri care ajută la crearea sau îmbunătățirea programe rău intenționateAcest lucru este îngrijorător în special având în vedere că mulți utilizatori cu cunoștințe tehnice limitate s-ar putea baza pe aceste instrumente pentru a dezvolta atacuri mai ușor.
Cel mai sensibil domeniu și cel care de obicei atrage atenția autorităților de reglementare în Europa și la nivel internațional este cel al proliferarea armelor chimice și nucleareChiar și fără a oferi „manuale complete”, capacitatea unui sistem de inteligență artificială de a furniza informații utile în acest domeniu stârnește deja multe suspiciuni în rândul experților în securitate.
Autorii subliniază că scopul lor nu este de a dramatiza, ci de a arăta că Filtrele actuale nu sunt suficiente atunci când se confruntă cu tehnici de manipulare relativ simple, cum ar fi reformularea poetică a ordinelor periculoase, lucru care ar putea fi exploatat atât de infractorii cibernetici, cât și de actorii statali.
Limitările sistemelor actuale și răspunsul industriei
Companiile de top care dezvoltă modele de inteligență artificială generativă au insistat de mult timp să integreze mecanisme de securitate multistratificateOpenAI, de exemplu, evidențiază adesea utilizarea combinată a algoritmilor de moderare și a echipelor umane dedicate revizuirii și filtrării conținutului care incită la ură, este explicit sau încalcă politicile sale.
Cu toate acestea, rezultatele acestei lucrări sugerează că, în ciuda acestor măsuri de siguranță, chatboții rămân vulnerabili la forme creative de formulare a solicitărilor. Potrivit cercetătorilor, poezia adversarială degradează în mod clar comportamentul de respingere pe care ar trebui să îl manifeste orice model bine aliniat la normele sale de utilizare.
În teste, instrumente de la companii precum OpenAI și Anthropic au arătat, prin comparație, probabilitate mai mică de a depăși propriile bariereTotuși, acestea nu au fost scutite de problemă. Aceeași tendință generală a fost observată ca și pe celelalte platforme, doar cu rate de succes ceva mai mici.
Când au fost întrebate de presa internațională despre aceste descoperiri, firme precum OpenAI, Google, DeepSeek sau Meta Nu au oferit un răspuns imediat. Se așteaptă ca, pe măsură ce dezbaterea câștigă atenție publică, companiile să fie nevoite să detalieze ce contramăsuri intenționează să implementeze.
Dintr-o perspectivă de reglementare, acest tip de cercetare se aliniază cu preocupările deja reflectate în Regulamentul Uniunii Europene privind inteligența artificialăAceasta pune accentul pe gestionarea riscurilor, transparența și responsabilitatea furnizorilor de sisteme avansate. Descoperirea unor noi vectori de atac, cum ar fi poezia adversă, întărește argumentul pentru necesitatea unor procese de evaluare continue și mai riguroase.
Alte amenințări la orizont: otrăvirea și manipularea datelor
Poezia adversarială nu este nicidecum singura cale care îngrijorează comunitatea securității cibernetice în ceea ce privește inteligența artificială generativă. O parte semnificativă a cercetărilor recente se concentrează asupra riscurile asociate cu antrenamentul modeluluiunde intră în joc enormele baze de date folosite pentru a preda acestor instrumente să vorbească, să scrie și să raționeze.
Studiile independente au arătat că este posibil manipularea modelelor lingvistice la scară largă contaminând o fracțiune foarte mică din datele de antrenament: aproximativ 250 de documente corupte ar fi suficiente pentru a introduce prejudecăți, accese secrete sau comportamente neașteptate, chiar și în sistemele de ultimă generație.
Ceea ce este izbitor este că acest prag nu pare să crească semnificativ odată cu dimensiunea modelului, ceea ce infirmă intuiția conform căreia „mai mare înseamnă automat mai robust”În practică, atât soluțiile ușoare, cât și modelele masive ar putea fi vulnerabile la acest tip de otrăvire a datelor.
Dacă un atac de acest tip trece neobservat, poate duce la atacuri cibernetice greu de urmăritîntrucât modelul în sine s-ar comporta într-un mod aparent normal până când ar fi îndeplinite anumite condiții ascunse în date care au servit la coruperea lui.
Combinată cu tehnici precum poezia adversarială, manipularea datelor de antrenament deschide un scenariu în care Milioane de utilizatori ar putea folosi instrumente cu defecte latente.fără a fi conștienți de acest lucru, ceea ce reprezintă o provocare majoră pentru politicile de securitate și guvernanță ale IA.
Toate aceste descoperiri sugerează că siguranța inteligenței artificiale generative nu este o problemă rezolvată, ci o... domeniu în continuă evoluție unde apar noi forme de atac pe măsură ce tehnologia se integrează în tot mai multe domenii ale vieții de zi cu zi, de la munca de birou la administrația publică sau educație.
În acest context, „poezia care înșeală inteligența artificială” a devenit un exemplu foarte grafic al modului în care o simplă schimbare de stil poate expune sisteme care, pe hârtie, au protocoale stricte de protecție. Cercetarea realizată de Icaro Labs și universitățile italiene întărește ideea că astfel de măsuri vor fi necesare. evaluări mai creativeTeste continue de stres și colaborare strânsă între dezvoltatori, experți în securitate cibernetică și autorități de reglementare pentru a ne asigura că modelele lingvistice pe care le folosim zilnic sunt cu adevărat capabile să reziste atât atacurilor tehnice, cât și celor mai ingenioase trucuri lingvistice.