חוקרים ישראלים חשפו קמפיין שמרעיל תשובות AI ומפנה למוקדי שירות מזויפים (מאקו)

חוקרי סייבר ישראלים חשפו קמפיין רחב של "הרעלת AI" שמוביל תשובות של ChatGPT, ג'מיני ו-Google AI Overview (סקירת ה-AI שמופיעה כשאתם מחפשים בגוגל) למספרי שירות לקוחות, כתובות מייל, דפי התחברות ועדכוני תוכנה מזויפים. לפי המחקר שפרסמו, המתקפות אותרו נגד לקוחותיהם של 374 מותגים וחברות גדולות, ובהם בנקים, חברות תעופה ופלטפורמות תיירות.

"אנשים למדו להיזהר מקישורים חשודים באימייל או בסמס, אבל כשמספר טלפון מוגש להם כעובדה ישירות מתוך מנוע ה-AI וחוזר על עצמו בכמה מקורות, הוא נתפס כאמין לחלוטין", אומר דן לסקר, חוקר חולשות סייבר ושותף במחקר. "החברות עצמן משקיעות מיליארדים בהגנה על השרתים שלהן מפני פריצות, אך התופעה הזו מוכיחה שזה כבר לא מספיק. כל עוד ענקיות הטכנולוגיה מסרבות להכיר בדיסאינפורמציה של AI כחולשת אבטחה לכל דבר, הצרכנים נשארים נטולי הגנה לחלוטין. זהו הפער המערכתי שאנחנו פועלים לסגור כיום".

את המחקר הובילו דן לסקר, אריאל סימון ונאור חזיז, יוצאי יחידות מודיעין מסווגות המתגוררים כיום בניו יורק, והבדיקה התמקדה בשאילתות בשפה האנגלית. לפי המחקר, התוקפים מציפים את הרשת בפוסטים, מסמכים ובעיקר קובצי PDF, אתרים, תמונות, ביקורות ודפי תמיכה מזויפים, שנכתבו כך שמנועי AI ייטו לצטט אותם. החוקרים מתארים שימוש בטכניקות GEO (אופטימיזציה למנועים ג'נרטיביים), שנועדו לגרום למודלים להעדיף מקורות מסוימים ולהציג אותם כתשובה אמינה.

הכתבה המלאה במאקו