רשתות נוירונים על גרפים עם חגי מרון
Listen now
Description
בפרק זה אירחנו את חי מרון מ nvidia לדבר על עיבוד גרפים עם רשתות נוירונים. נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית. נדבר על 4 הגישות הרווחות למידול שיטות ספקטרליות מודלי העברת הודעות רשתות אקוויורינטיות וכמובן, טרנספורמרים לקריאה נוספת: https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf הרצאה של חגי על יצוג גרפים כסימטריות https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s  
More Episodes
למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר. אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר. Consistency LLMs...
Published 06/23/24
Published 06/23/24