על מה המדריך?
שוק הביטוח העולמי מתחיל לתמחר סיכון חדש ומפחיד: סוכני AI אוטונומיים שפועלים ללא השגחה אנושית ועלולים להפוך לכלי נשק בידי האקרים.
חשבתי שראיתי הכל, אבל השבוע גיליתי שה-AI שלנו לא רק לומדת – היא מתחילה לבצע פעולות עצמאיות ללא אישור, וזה רק קצה הקרחון.
הפער בין התקפה להגנה
המעבר ממודלים שמייצרים טקסט למודלים שמבצעים פעולות (סוכנים) הוא קפיצת מדרגה מסוכנת. כשה-AI הופכת ל'סוכן', היא לא רק עונה על שאלות, אלא מבצעת משימות ברשת. מחקרים מראים כי יכולות התקיפה של סוכנים אלו משתכללות במהירות, בעוד פתרונות ההגנה האוטונומיים עדיין נמצאים בשלבי פיתוח ראשוניים.
האתגר של עולם הביטוח
חברות הביטוח נמצאות כיום בנקודת מפנה. פוליסות סייבר מסורתיות נכתבו עבור תקיפות המבוצעות על ידי בני אדם, ולא עבור 'סוכני צללים' שפועלים באופן עצמאי. כתוצאה מכך, השוק נמצא בתהליך של גיבוש מודלים חדשים (Underwriting) והחמרת תנאי סף, שכן חוסר הוודאות לגבי התנהגות המודלים הופך את הערכת הסיכון למשימה מורכבת במיוחד.
מה עליכם לעשות?
הגישה המומלצת כיום היא 'אדם בשליטה' (Human in Control) ולא רק 'אדם בלופ'. אין להעניק ל-AI גישה למערכות קריטיות ללא פיקוח הדוק. מומלץ לבצע מבחני לחץ (Red Teaming) קפדניים לכל סוכן אוטונומי, ולהטמיע מנגנוני הגנה שחוסמים פעולות לא מורשות בזמן אמת.
מה חדש שכדאי להכיר
- • הטמעת מנגנוני 'עצירה' אנושיים בתהליכי עבודה של סוכני AI
- • ביצוע מבחני לחץ (Red Teaming) ייעודיים לאיתור התנהגות אוטונומית זדונית
- • הגבלת הרשאות גישה למערכות IT עבור מודלים בעלי יכולות הסקה גבוהות