בפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן.המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ? מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר. נדבר על נהלים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.

בפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebay בסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו. דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד. נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח.   Data Operations IL https://www.linkedin.com/groups/9236026/

זה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב. ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו. בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב. נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם. נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו...

מי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש. וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש. אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח. בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ?   קישורים:1. One Shot Learning

בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון.דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה. דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא. איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים. ונדבר על...

אמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאקHayStack2023 המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה Language models דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים Splade Hyde Search augmentation with LLM

בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.

קשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי אוLLM אחד החידושים באימון שלו, למעשה בInstructGPTהיו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה נספר על אלגוריתם הRLHFושילובו בתוך מודלי השפהLLM

בפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות. אנחנו כולנו למדנו בטירונות דאטא סיינס ש Correlation does not imply causation אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?   קישורים: DoWhy tutorials אלגוריתמים - EconML docs Guide - Athey, Stuart, Vogelstein 2021 מאמר של אוהד  https://arxiv.org/abs/2207.01722   מאמר Ascarza

וקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים. אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות. חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון. בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים.

פרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי Replay Bufferסוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא On Policyאו למידה גם מפעולות של סוכנים אחרים, מה שנקרא Off Policyבגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה. שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודליRL

פרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים. אנבידיה הפיקה את כנס הGTCעם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב.

בפרק זה אירחנו את איתן נצר, מ data heroes לדבר על בחירה חכמה של דגימות לצורך אימון מודלים. אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה.האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ? איתן יספר לנו על גישת ה core set שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה. מבין המשקיעים בחברה, נמצא גם Andrew Ng שהוא מאמין גדול ב Data Centric...

בפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge. אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks. דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.   קישור לתחרות:https://codalab.lisn.upsaclay.fr/competitions/9603

זיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה. הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה. נדבר על הגישות הקלאסיות לאנומלי, כגון * Density estimation * Auto regressive * Distance based measures ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים. אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל...

פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס. המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית. אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום. באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו https://t.me/explainablepodcast לעיון במבחן הבית: https://argmax.ml/jr  

בפרק זה אירחנו את חי מרון מ nvidia לדבר על עיבוד גרפים עם רשתות נוירונים. נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית. נדבר על 4 הגישות הרווחות למידול שיטות ספקטרליות מודלי העברת הודעות רשתות אקוויורינטיות וכמובן, טרנספורמרים לקריאה נוספת: https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf הרצאה של חגי על יצוג גרפים...

בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי Github Co-Pilot בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי TabNine ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב. נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי. כמו כן נדבר על אתגרים מוצריים ב TabNine ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו.

נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות. הטרנד של data centric ai שמוביל Andrew Ng דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים. סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של resampling / augmentation קישורים רלוונטים: imbalanced-learn TGAN CTGAN TABDDPM SDV Commercial: gretel, datomize

בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים. בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב. האם הגיע המקום לחשיבה בשיטת ai4all על משקל תנועת ה coding4all הפופולארי. דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים. מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.  

מייק, אורח קבוע של הפודקאסט ידבר איתנו על Normalized Flows מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל Diffusion model, GANS and VAE נדבר על ההבדלים בין המודלים, על היתרון ב density estimations ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות.. חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים. בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות OOD חריגה סמנטית, אובייקט לא מוכר. ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)   נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות קרדיט למחקר משותף: מתן טור פז

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש. בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים. נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים. איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל AI והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של Program Synthesis העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה. אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי. ונדבר על קודקס, מודל השפה ש Open AI אימנו על גיטהאב, וכיצד הוא עובד. כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס. שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר. ששת המאמרים הם: (1) Attention Is All You Need (2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (3) A Style-Based Generator Architecture for Generative Adversarial Networks (4) Learning Transferable Visual Models From Natural Language Supervision (5) Mastering the Game of Go with Deep Neural Networks and Tree...