הציוץ שמפחיד את העולם: ״בינה מלאכותית עלולה להרוג את כולנו עד סוף העשור!״ 

ג'ייקוב קוקסון (Jacob Coxon), חוקר בריטי בן 27, הודיע על התפטרותו מאנתרופיק ופרסם סדרת פוסטים חריפה על הכיוון שאליו מתקדמת תעשיית הבינה המלאכותית. קודם לכן עבד ב-OpenAI, ולדבריו, בשלוש השנים האחרונות עסק בשתי החברות במחקר בתחום האימון המקדים של מודלים. הרקע הזה מעניק לדבריו נקודת מבט מתוך המעבדות העוסקות בפיתוח הטכנולוגיה. מקור לפרטים הביוגרפיים: פייננשל טיימס.

המניע העולה מדבריו הוא הרצון למנוע גלישה לאסון: קוקסון חושש שהמרוץ התחרותי יוביל לפיתוח מערכות המסוגלות לשפר את עצמן ולצבור כוח, לפני שתהיה הבנה מספקת כיצד להבטיח שיישארו בשליטה אנושית. הוא מבקש לעורר דיון ציבורי ולשכנע חוקרים לדרוש תנאי פיתוח אחרים, ומעלה גם אפשרות של איסור זמני על שיפור יכולות המודלים.

את האמירה שבכותרת צריך לקרוא בהקשרה: קוקסון טוען שאנשים המפתחים בינה מלאכותית מאמינים שהיא עלולה להרוג את כולנו עד סוף העשור. בפוסטים הוא אינו מציג חישוב של ההסתברות לכך או הוכחה שזה מה שיקרה. זו אזהרה חריפה מפני סיכון שלדעתו אינו זוכה למענה הולם.

להלן תרגום שבעת הפוסטים המופיעים בהקלטה, ברצף ובסדר המקורי:

ג'ייקוב קוקסון | הדברים במלואם

התפטרתי היום מאנתרופיק. בשלוש השנים האחרונות עסקתי במחקר בתחום האימון המקדים, הן ב-OpenAI והן באנתרופיק. אף אחת מהחברות אינה פועלת באחריות. הן דוהרות היישר לעבר בינת-על המשפרת את עצמה ומהמרות על חיינו. מחשבות נוספות בהמשך.

אל תמעיטו בעוצמתה של הטכנולוגיה הזאת. בקרוב יהיו אלה מערכות בעלות יכולות על-אנושיות, שיוכלו לפרוץ לכל דבר, לחולל מהפכה בכל תחום בן לילה ולצבור כוח ומשאבים ממשיים. כולנו היינו עדים להתקדמות בכל אחד מהתחומים האלה, וההתקדמות אינה מאטה.

האנשים שבונים בינה מלאכותית מאמינים ברצינות שהיא עלולה להרוג את כולנו עד סוף העשור. זה אינו תרגיל שיווקי. אם כבר, מנהלים רבים וחוקרים בכירים ינסחו את דבריהם בתקשורת כך שיישמעו שקולים - אבל אני שומע את אותם אנשים מביעים פחד בשיחות פרטיות. שום פעילות אנושית אחרת אינה מציבה סכנה ברמה הזאת.

תגובה נפוצה היא: "אם הם באמת מאמינים בזה, מדוע הם עדיין בונים את זה?" ב-OpenAI, רבים לא הפנימו לעומק את מה שמונח על הכף עבור הציוויליזציה. באנתרופיק מבינים היטב מה מונח על הכף, אבל הם לכודים במרוץ להגיע לשם ראשונים - הם מאמינים שאף אחד אחר לא יפעל באחריות, ולכן הם חייבים לעשות זאת בעצמם, למרות הסיכון.

ההשלמה עם המרוץ הזה והכניסה ל"שלב הסיום" הן הימור רווי היבריס, שאין לצאת אליו מתוך הסלאק של חברה פרטית. ניסיון להשלים במהירות שיא את התאמת הבינה המלאכותית לכוונות ולערכים אנושיים צריך לחייב ביטחון יוצא דופן שאין מסלולים טובים יותר הזמינים לנו.

אני אופטימי לגבי הפוטנציאל לתיאום. יריות אזהרה, כמו המתקפה על Hugging Face, הפכו הסכמים בין מעבדות בארצות הברית בנוגע לקצב ההתקדמות לאפשריים יותר. איני מרגיש שאנחנו בדרך למנוע מרוץ עולמי, דבר שעשוי לדרוש צעדים הכרוכים במחיר כבד, כגון איסור זמני על שיפור יכולות המודלים.

אם אתם חוקרים במעבדה, אני מפציר בכם לחשוב כיצד ירגישו בפועל השנים הקרובות. האם אתם רוצים להתחיל הרצת אימון בלמידת חיזוק של בינת-על בלי הבנה קפדנית של אופן חשיבתה? האם עליכם להרכין ראש מפני ש"זה קורה בכל מקרה" - או לנצל את הרגע הזה כדי לקרוא לתנאים אחרים?

לפוסט המקורי לחצו כאן