Generative Pre-trained Transformer 3, או בשמה המקוצר GPT-3, היא טכנולוגיה לפיתוח כלים לעיבוד שפה טבעית על ידי שימוש בלמידה עמוקה (Deep Learning), במטרה ליצור אלגוריתמים מחוללי טקסט.
עד היום, בינה מלאכותית ומכונות עיבוד שפה התקשו לייצר טקסטים בשפה אנושית טבעית, בגלל המורכבויות והניואנסים של השפה, אבל GPT-3 ייחודי כיוון שהוא מאומן במיוחד ליצור טקסט אנושי ריאליסטי.
הטכנולוגיה הזו, שפותחה על ידי חברה בשם OpenAI, מאפשרת בין היתר לכתוב, לתרגם, לסכם, או להמיר טקסטים מורכבים לקונספטים פשוטים שאפילו ילד בכיתה ב' יכול להבין.
בנוסף, היא מאפשרת להמיר הוראות פשוטות בטקסט לפקודות SQL, לתרגם קוד משפת תכנות אחת לאחרת, או לשלוף נתונים מתוך טקסט כתוב ולמיין אותם בטבלה ע"פ קטגוריות ומכנים משותפים.
האפשרויות של GPT-3 הן כמעט בלתי מוגבלות, ולמרות שהתוצאה רחוקה מלהיות מושלמת, היא בהחלט יכולה לחסוך לכם שעות של עבודה, והיא רק הולכת ומשתפרת.
רוצים להתנסות במודל GPT-3? כנסו לכאן.
קצת היסטוריה
למרות שבתחילה הקוד של OpenAI היה פתוח לחלוטין, עם קיבולת מוגברת של פרמטרים, לאחר גרסת ה-GPT-2 החברה הבינה את הפוטנציאל המסחרי של הטכנולוגיה והפכה את הקוד שלה לסגור.
לפי הניו יורקר, האיטרציה השנייה של GPT השתמשה ב-17 מיליארד פרמטרים כדי לבנות את הידע הבסיסי לאלגוריתם הלמידה העמוקה. בגירסה השלישית, הפרמטרים גדלו פי 10 וכיום הם עומדים על 175 מיליארד. העלייה המשמעותית הזו בפרמטרים תורגמה גם לעלייה בישימות, ופתחה דלת לאלגוריתמים גנרטיביים שיוצרים למעשה פתרונות מבוססי טקסט.
עם ערכת אימונים כל כך גדולה ומגוונת, המפתחים של GPT-3 מקווים ליצור מודל שיתפוס טוב יותר את משמעות הטקסט, אבל בפועל, נכון להיום, הם עדיין מכוונים בעיקר לשיפור ביצועים וחיסכון בזמן במשימות ספציפיות, ופחות בהחלפת המוח האנושי.
אז איך זה עובד?
דגמי GPT-3 עוברים "הכשרה" על מאגרים עצומים של טקסט מרחבי האינטרנט כדי לזהות דפוסי דיבור ושפה. כל שהמשתמש צריך לעשות הוא להזין טקסט, אפילו רק כמה משפטים, והמערכת המאומנת תנתח אותו כדי ליצור פלט, שגם בלי הרבה כוונון או אימון הוא איכותי ומרגיש דומה למה שבני אדם היו אומרים או כותבים.
לדוגמה, מודל שאלות ותשובות מבוסס GPT-3 לא רק יספק תשובות ענייניות, אלא ישתמש בשיקול דעת כדי לענות תשובות שאינן בהכרח עובדתיות. אם נשאל את השאלה "מה מזג האויר בת"א?" GPT3 יכול לענות שיש בחוץ 28 מעלות, אבל אם נשאל את זה בצורה יותר פתוחה כמו "האם נעים עכשיו בת"א?" הוא עשוי לענות משהו כמו: "חם ולח עכשיו, אבל הים מושלם לרחצה."
כך, צ'אטבוטים שיחתיים המבוססים על GPT-3 כמו ChatGPT ו-BlenderBot 3 של מטא, שכבר זמינים לציבור, יוכלו לנהל שיחה חופשית עם משתמשים ותוך כדי תנועה לסווג, לנתח ולתת מענה לבקשות של משתמשים, ללא התערבות של גורם אנושי.
לפני בערך שנתיים, התחלנו לראות פתרונות ראשונים ליצירת קופי של מודעות PPC ודפי נחיתה המבוססים על בינה מלאכותית ומאז, הכלים האלה רק הלכו והשתפרו. למשל, באתר copy.ai תוכלו לספק תיאורי מוצר קצרצרים, ולקבל קופי שיווקי שמיש ומקורי בו תוכלו להשתמש באתר או בקמפיינים שלכם.
בנוסף, ניתן להשתמש ב-GPT-3 ליצירת תוכן בסגנון הספציפי של מי שכביכול מייצר אותו. הוא יכול לכתוב מחזות בסגנון שייקספיר, לתת עצה מפרויד, או לדמות שיחה עם סטיב ג'ובס, בהתבסס על תוכן קיים שיצרו אותם אנשים בעבר.
מה הקאץ'?
GPT-3 הוא פתרון נהדר כאשר רוצים ליצור כמות גדולה של טקסט באופן אוטומטי בהתבסס על כמות קטנה של קלט, אבל יש לו כמה חסרונות בולטים.
ראשית, מודלים של GPT-3 אמנם מאומנים מראש על מגוון רחב של פרמטרים, אבל הם לא ממשיכים ללמוד ולכן אינם משתפרים עם הזמן.
כיוון שיש לו קיבולת קלט קטנה, חלק מהיישומים שלו מוגבלים מאוד. לבסוף, כיוון שלמידת המכונה מבוססת על תוכן שחלקו הגדול מוטה, גם הפלט שיווצר עשוי להיות מוטה, בהתאם לתוכן שעליו התבססה הלמידה.
בשלב זה, אפילו דגמי GPT-3 המתקדמים ביותר רחוקים מלהיות מושלמים. התוכן שהם מייצרים צריך לעבור בדיקת עובדות ולעיתים קרובות גם עריכה. הם גם לא יכולים להסביר ולפרש את הפלט שלהם, כך שאם משהו לא ברור, אין מנוס מלבצע מחקר ולדייק את התוכן בעצמכם. לאור כל זאת, שימוש ב-GPT-3 עשוי, במקרים מסוימים, לקחת יותר זמן מאשר אם הייתם יוצרים את התוכן בעצמכם.
גוגל כבר הצהירה בעבר שהיא לא תקדם תוכן שנוצר אוטומטית, ושהוא נחשב לספאם מכיוון שהוא מפר את ההנחיות שלה. עם זאת, היא עצמה משקיעה משאבים אדירים בטכנולוגיות שנועדו לעשות את אותו הדבר.
מומחים מעריכים כי בתוך 5 שנים, רוב המודעות הממומנות בגוגל יהיו טקסטים שנוצרו באופן אוטומטי באמצעות GPT-3. כל שנצטרך לעשות זה לתת לגוגל כתובת אתר ותקציב, והיא כבר תפיק לנו מודעות ואסטרטגיות הצעות מחיר, אם כי לנוחות שזה יאפשר יהיה מחיר כבד. ההערכה היא שמפרסמים יוכלו לראות בערך כ-20% מהנתונים של מה שקורה בתוך הקופסה השחורה, ו-80 האחוזים הנותרים ישארו מוסתרים במטרה לשמור את השליטה בידיים של גוגל.
האם בינה מלאכותית תתעלה על יכולת הכתיבה האנושית?
בעניין זה, הדעות חלוקות. היתרון שיש לנו, בני האדם, הוא שאנחנו יכולים לכתוב על דברים שלא נתקלנו בהם בעבר, וליצור רעיונות ייחודיים על סמך התצפיות והדמיון שלנו. מערכות כמו GPT-3 לא יכולות לעשות את זה, כי הן צריכות קודם להיתקל בתוכן קיים ועובדות ורק לאחר מכן הן יכולות ליצור מהם תוכן חדש.
ועדיין, עם כל כך הרבה אפשרויות זמינות, מפרסמים ומותגים יוכלו להתרכז בבניית דפי נחיתה ויצירת חוויות לקוח ייחודיות, כשהם מסתייעים במודלים של שפה למחקר, תקשורת עם לקוחות, ויצירת טיוטות ראשוניות של תוכן.
ייתכן שזה רק עניין של זמן וככל שהמכונה תמשיך ללמוד ולספוג מידע, כך היא תשתפר בעבודתה עד שבסופו של דבר היא תאפיל על האינטליגנציה האנושית. אחרי הכל, למוח האנושי יש קיבולת מוגבלת בעוד שמכונה יכולה לאחסן אלפי שנים של זכרונות, להפיק לקחים, ולעולם לא לחזור על טעויות.
דיצה קרן היא כתבת טכנולוגית ועורכת ערוץ וואלה! שיווק ודיגיטל