בפרק זה, התארחנו ב weel.com, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסות את זה בבית, אבל לא כ"כ מהר על כסף אמיתי!

קישורים רלוונטיים:

• • The_Hummingbird_Project
  • 2010_flash_crash
  • QuantConnect
  • Algorithmic Trading Strategies

בפרק זה, נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer.

קישורים:

• "What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters. Accessed 15 Dec. 2020.
• "Bias in Natural Language Processing (NLP): A Dangerous But ...." 1 Sep. 2020, https://towardsdatascience.com/bias-in-natural-language-processing-nlp-a-dangerous-but-fixable-problem-7d01a12cf0f7. Accessed 15 Dec. 2020.
• "Adversarial Removal of Demographic Attributes from Text Data." 20 Aug. 2018, https://arxiv.org/abs/1808.06640.
• "Unsupervised Domain Adaptation by Backpropagation." 26 Sep. 2014, https://arxiv.org/abs/1409.7495.

בפרק זה, נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם.

קישורים:

• מאמר מקורי GAN
• DCGAN
• המתמטיקה של GAN
• WGAN
• INFOGAN
• BIGAN
• StyleGAN

בפרק זה, נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers.
נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR.

קישורים רלוונטיים:

• Attention Models
• הסבר טוב בוידאו על Transformers
• Talk to Transformer
• The Illustrated Transformer
• End-to-End Object Detection with Transformers

בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec).
קישורים:

• Node2vec - https://arxiv.org/pdf/1607.00653.pdf, https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef
• GNN - https://arxiv.org/pdf/1812.08434.pdf
• Graph embeddings - https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007

קישורים רלוונטיים:

/r/2D3DAI

3D Reconstruction

Points Cloud

Marching cubes

בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים:

• https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf
• Pydata nyc workshop on GPR
• Conjugate prior

בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.

קישורים רלוונטיים:

• Curriculum learning
• מאמר ראשון בנושא (Elman)
• Curriculum for Reinforcement Learning
• Teacher-Student Curriculum Learning
• On The Power of Curriculum Learning in Training Deep Networks