טרנספורמרים בעיבוד תמונה Visual Transformers
Listen now
Description
  טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות? אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה. בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.   קישורים Attention is All You Need An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale End-to-End Object Detection with Transformers Vision-Transformer-papers https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a https://paperswithcode.com/methods/category/vision-transformer
More Episodes
למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר. אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר. Consistency LLMs...
Published 06/23/24
Published 06/23/24
ערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching. אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn.נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על...
Published 06/14/24