Episodes
בפרק זה, התארחנו ב weel.com, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסות את זה בבית, אבל לא כ"כ מהר על כסף אמיתי!
קישורים רלוונטיים:
The_Hummingbird_Project
2010_flash_crash
QuantConnect
Algorithmic Trading...
Published 04/27/21
בפרק זה, נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer.
קישורים:
"What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters. Accessed 15 Dec. 2020.
"Bias in Natural Language Processing (NLP): A Dangerous...
Published 04/07/21
בפרק זה, נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם.
קישורים:
מאמר מקורי GAN
DCGAN
המתמטיקה של GAN
WGAN
INFOGAN
BIGAN
StyleGAN
Published 03/16/21
בפרק זה, נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers.נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR.
קישורים רלוונטיים:
Attention Models
הסבר טוב בוידאו על Transformers
Talk to Transformer
The Illustrated Transformer
End-to-End Object Detection with Transformers
Published 03/02/21
בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec).קישורים:
Node2vec - https://arxiv.org/pdf/1607.00653.pdf, https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef
GNN - https://arxiv.org/pdf/1812.08434.pdf
Graph embeddings - https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007
Published 02/16/21
בפרק זה אנו נארח את פיטר נפתליאב הבלוגר ומנהל קהילת /r/2D3DAI שידבר איתנו על עולם התלת מימד.
נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud.
קישורים רלוונטיים:
/r/2D3DAI
3D Reconstruction
Points Cloud
Marching cubes
Published 02/02/21
בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים:
https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf
Pydata nyc workshop on GPR
Conjugate prior
Published 01/19/21
בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.
קישורים רלוונטיים:
Curriculum learning
מאמר ראשון בנושא (Elman)
Curriculum for Reinforcement Learning
Teacher-Student Curriculum Learning
On The Power of Curriculum Learning in Training Deep Networks
Published 01/05/21
בפרק זה, נשוחח על מהי התמרת פורייה. מוטיבציות, שימושים, Time Series והקשר ללמידה עמוקה.קישורים רלוונטיים:
But what is the Fourier Transform? A visual introduction
Fourier Convolutional Neural Networks
Published 12/23/20
בפרק זה, נדבר על Adversarial Attacks, על איך מייצרים Adversarial Examples בשיטת FGSM, על התקפות White or Black box models ונזכיר Certifiable Robustness.
FGSM
A Survey of Adversarial Machine Learning in Cyber Warfare
no need to worry about adversarial examples in object detection in autonomous vehicles
Published 12/09/20
בפרק זה נדבר על הורדת מימדים - Dimensionality reduction. נעסוק במוטיבציות (קללת המימדים), ובאלגוריתמים PCA, T-SNE, AutoEncoders, SOM.
קישורים רלוונטיים:
https://onlinecourses.science.psu.edu/stat505/lesson/11
https://distill.pub/2016/misread-tsne/
Published 11/25/20
בפרק זה נעסוק בבעיה הכי שכיחה בעולם unsupervised, הרי היא בעיית ה-clustering - ניתוח אשכולות. נדבר על משפחות אלגוריתמים (top down - bottom up, soft-hard, metric/ graph/ distribution based), ונעסוק במדדי הצלחה קלאסיים (silhouette, dunn index, DB index, Rand index) ובמדדי הצלחה תלויי בעיה.
קישורים רלוונטיים:
Deep Learning Clustering
Clustering Metrics
Clustering assisted labeling
Published 11/11/20
בפרק זה נעסוק באיך מפרשים מודלים ואיך מבינים את ההחלטות שלהם. תחום רחב זה נקרא Explainable artificial intelligence או Interpretable machine learning. בפרק נעסוק בטכניקות השונות שיש בתחום ובפרט ב ZF-NET, DeepDream, GradCam, Lime, Shap.
קישורים רלוונטיים:
ספר אונלייני
Visualizing CNN
ZFNet - Visualizing and Understanding Convolutional Networks
DeepDream
Lime
GradCam
DeepLift
Shap
Published 10/28/20
בפרק זה נדבר על עיבוד טקסט בעברית, ונציג כיצד הוא שונה משפות אחרות, ובפרט מאנגלית. נשוחח על ה-NLP Pipeline ועל למה הוא שבור בעברית, ונדבר על התחביר של עברית והתכונות הייחודיות של שפות שמיות.
רעות צרפתי
יואב גולדברג
המעבדה לעיבוד שפה טבעית בעברית
GPT
YAAP
Published 10/14/20
בפרק זה נדבר על כל ה-Multi's וננסה לעשות סדר במושגים שנוטים לבלבל:
multi class classification, multi label classification, multi task learning, Multi objective, Multiple modality.
נגדיר כל מושג, ניתן דוגמאות ונדון בסוגיות ומימושים סביב כל מושג. קישורים רלוונטיים:
https://ruder.io/multi-task/
Published 09/30/20
בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):
Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling.
לסיום נדון ב-Active Learning כבעיית Reinforcement Learning.
קישורים רלוונטים\שהזכרנו:
modAL
Snorkel
Prodigy
Active Learning Tutorial
REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION
Published 09/16/20
בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning.
נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation.
קישורים שהוזכרו:
שיתוף פעולה בין סוכנים במשחק המחבואים
שיתוף פעולה בין סוכנים במשחק תפוס את הדגל
סדרת הרצאות של David Silver
Agent57 - מודל אחד שמשחק ברמה אנושית ב 57 משחקים
BRETT- הרובוט שמרכיב לגו
MuJoCo מנוע המדמה את חוקי הפיסיקה
Published 09/02/20
בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT.
במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק:
THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS
Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask
Published 08/19/20
זהו פרק מבוא קצרצר בו אנו מספרים מי הוא תמיר נווה ומי הוא אורי גורן, למה החלטנו להתחיל עם הפודקאסט, ומה היינו רוצים שיהיה בפרקים הבאים.
Published 08/19/20