Co-Pilot - Codex ויצירה של קוד עם מודלי שפה
Listen now
Description
הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של Program Synthesis העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה. אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי. ונדבר על קודקס, מודל השפה ש Open AI אימנו על גיטהאב, וכיצד הוא עובד. כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.
More Episodes
למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר. אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר. Consistency LLMs...
Published 06/23/24
Published 06/23/24