ראו לפני שאתם מקודדים: 3Blue1Brown על רשתות נוירונים
הסדרה של גרנט סנדרסון ב-3Blue1Brown היא ההקדמה הוויזואלית הכי טובה שאני מכיר לרשתות נוירונים, טרנספורמרים ו-LLM-ים. צפו לפי הסדר לפני שאתם מתמודדים עם הקוד; האינטואיציה תחסוך לכם המון שעות אחר כך.
סדרת ה-Deep Learning, לפי הסדר
כל סרטון עומד בפני עצמו, אבל הם בונים זה על זה מהיסודות.
-
הקדמה
Large Language Models explained briefly
הקדמה קלה וברמה גבוהה למה זה LLM ומה הוא עושה. נקודת פתיחה מצוינת שמניחה את הבסיס לכל מה שבהמשך.
-
פרק 1
But what is a Neural Network?
הסבר כללי מהי רשת נוירונים, בהקשר של זיהוי ספרות בכתב יד. הסרטון שכדאי לשלוח למי שאף פעם לא ראה רשת קודם.
-
פרק 2
Gradient descent, how neural networks learn
סקירה של gradient descent בהקשר של רשתות נוירונים; שיטה שנמצאת בשימוש נרחב בכל תחום למידת מכונה כדי לייעל את ביצועי המחשב על משימה נתונה.
-
פרק 3
What is backpropagation really doing?
סקירה של backpropagation, האלגוריתם שמאחוריו רשתות נוירונים לומדות. בונה אינטואיציה אמיתית לגבי מה אות הגרדיינט מבקש מכל משקל לעשות.
-
פרק 4
Backpropagation calculus
המתמטיקה שמאחורי backpropagation: כלל השרשרת, נגזרות חלקיות, ואיך השגיאה מתפשטת חזרה דרך הרשת. לצפייה אם אתם רוצים את הפורמליזם מאחורי התמונה מפרק 3.
-
המשך
Analyzing our neural network
מבט מקרוב על מה שהרשת המאומנת מהפרקים הקודמים באמת למדה, מה הנוירונים מייצגים, ואיפה הסיפור היפה מתחיל להישבר.
-
פרק 5
Transformers, the tech behind LLMs
הקדמה ויזואלית לטרנספורמרים. מתמקד במבנה הכללי וב-word embeddings, החתיכות שצריך לפני שהמנגנון של attention יתחיל להיות הגיוני.
-
פרק 6
Attention in transformers, step-by-step
מפרק את attention, המנגנון המרכזי בתוך טרנספורמרים ו-LLM-ים. הסרטון שכדאי לצפות בו שוב ושוב עד ש-Q, K, V "מתחברים".
-
פרק 7
How might LLMs store facts?
פירוק ה-MLPs שבתוך טרנספורמר וכיצד ייתכן שהם מאחסנים עובדות. איפה ה"מודל יודע דברים" הופך לתמונה מכניסטית של ממש.
איך להשתמש בזה: צפו בסרטון שמתאים למה שאתם מתלבטים בו כרגע בקורס, ואז קראו את הפרק המקביל בסיכומי הקורס או בספר לימוד. הסרטון בונה את האינטואיציה, הטקסט מסדר את הפרטים.