כשבוחנים עיבוד של משפטים בשפה האנגלית בקרב בני אדם ובקרב מערכות למידה עמוקה ורשתות נוירונים מלאכותיות, נראה שיש דמיון מפתיע בין בני האדם ובין הרשתות. הנתון הזה הטריד את ד"ר טל גולן מהמחלקה למדעי הקוגניציה והמוח באוניברסיטת בן-גוריון בנגב ואת מתיו סיגלמן, תלמיד מחקר מאוניברסיטת קולומביה, שכן ישנם הבדלים משמעותיים בין הרשתות השונות ובין הצורה בה הרשתות הללו בנויות ופועלות, לבין המוח האנושי.
"אם נבין טוב יותר את הדמיון וההבדלים בין אינטליגנציה מלאכותית ואינטליגנציה טבעית, נוכל להבין טוב יותר כיצד אנחנו עצמנו פועלים", הסביר ד"ר גולן. ממצאי המחקר התפרסמו בכתב העת היוקרתי Nature Machine Intelligence.
פערים בשיפוט
אחד הכלים המרכזיים בחקר השפה הוא בחינת המשפטים הנתפסים על ידי דוברי השפה כ-"קבילים". למשל "דנה אכלה כריך" הוא משפט קביל בעברית, אך "דנה כריך אכל" או "כריך אכל דנה", אינם משפטים קבילים. בשנים האחרונות, מדענים החלו לבחון רשתות נוירונים מלאכותיות באופן דומה, ומצאו להפתעתם דמיון רב בין השיפוטים האנושיים ובין ההסתברות שרשתות נוירונים מלאכותיות מייחסות למשפטים שונים.
במחקר הנוכחי, החוקרים רצו לבחון את גבולות הדמיון בין בני האדם והרשתות. לצורך כך, הם פיתחו תוכנה שבונה זוגות של משפטים "מעוררי מחלוקת" בין הרשתות. בכל זוג כזה, יש משפט שרשת אחת מזהה כקביל, ואילו הרשת השנייה מזהה כבלתי קביל. המשפט השני נשפט על ידי הרשתות באופן הפוך- הרשת הראשונה מזהה אותו כבלתי קביל והרשת השנייה כקביל.
למשל, המשפט "This is the week you have been dying" נמצא כבלתי קביל לפי רשת מסוג GPT-2, וכקביל לחלוטין לפי רשת מסוג BERT. לעומת זאת המשפט "That is the narrative we have been sold" נמצא כקביל לפי GPT-2 וכבלתי קביל לפי BERT. אחרי שהחוקרים יצרו מאות זוגות של משפטים כאלה, המשפטים הוצגו ל-100 נבדקים אנושיים דוברי אנגלית, שהתבקשו לשפוט עבור כל אחד מהזוגות איזה משפט קביל יותר. במבחן שכזה, אחת הרשתות חייבת להיכשל, כיוון שהן אינן מסכימות ביניהן.
הבינה האנושית עדיין מובילה
החוקרים מצאו שתחת המבחן המחמיר הזה, כל הרשתות מפגינות פערים משמעותיים בשיפוטים שלהן לעומת בני האדם. הן קיבלו משפטים לא דקדוקיים ולא הגיוניים כקבילים, ובאותו הזמן דחו משפטים דקדוקיים והגיוניים כלא קבילים. הרשת שנמצאה כדומה ביותר לבני האדם הייתה GPT-2, שלומדת על ידי ניסיון לחזות את המילה הבאה בטקסט, אותו עקרון המיושם בשלב האימון הראשון והעיקרי של צ'ט-בוטים כגון ChatGPT.
"המחקר חושף פערים בין האופן שבו רשתות נוירונים מלאכותיות ובני אדם מעבדים שפה כתובה", מסביר ד"ר גולן. "ככל שתחום הבינה המלאכותית מתקדם, קל יותר לרשתות האלה לשטות בנו ולהתחזות כדומות מאד בהתנהגותן לבני אדם. אבל כאשר אנחנו מפעילים את הכלים המתאימים, אנחנו יכולים לראות שישנה עוד דרך עד שנגיע לאלגוריתמים שמחקים בצורה מאד מדויקת התנהגות אנושית. ייתכן ונוכל לבנות רשתות נוירונים שמדמות באופן מדויק שיפוטים לשוניים של בני אדם רק כאשר הרשתות יממשו כישורים קוגניטיביים נוספים, כגון חישת הסביבה ובקרת תנועה, ולא רק יקראו מיליוני ספרים," סיכם ד"ר גולן.
קבוצת המחקר כללה את: פרופסור כריסטופר בלדסנו ופרופסור ניקולאוס קריגסקורטה מהמחלקה לפסיכולוגיה של אוניברסיטת קולומביה. המחקר מומן ע"י הקרן האמריקאית למדע ומלגת צוקרמן.