שלב 1. מסגור הבעיה
עוד לפני כל מידול: מהי הבעיה, מדוע היא חשובה, וכיצד היא הופכת למשימת למידת מכונה.
דרישה 1
הבנת תחום הבעיה
הציגו הבנה מעמיקה של תחום הבעיה, המוטיבציה שמאחוריה והמשמעות שלה בעולם האמיתי. בססו את חשיבות הבעיה על ראיות אמינות: ספרות מחקרית, דוחות תעשייה, נתונים סטטיסטיים, נתוני שוק או מקורות עובדתיים אחרים.
אנטי-דפוסים נפוצים
- הגדרת בעיה מעורפלת או כללית מדי.
- מוטיבציה שנשענת על דעה אישית במקום על ראיות.
- היעדר הצדקה כמותית.
- הבנה שטחית של הפתרונות הקיימים ושל מגבלותיהם.
- בחירה בבעיה טריוויאלית או מלאכותית.
דרישה 2
חשיבות הבעיה והערך שבפתרונה
התמודדו עם צורך מוגדר היטב, משמעותי ורצוי שטרם נענה. הפרויקט אמור לפתור בעיה שמניבה ערך מוחשי למשתמשים או לבעלי העניין שאליהם הוא מכוון, עם יעדים וקריטריוני הצלחה ברורים.
אנטי-דפוסים נפוצים
- פתרון בעיה טריוויאלית.
- טיפול בבעיה שכבר נפתרה היטב, בלי שום בידול.
- יעדים מעורפלים או קהל משתמשים לא ברור.
- היעדר הסבר משכנע לגבי ההשפעה הצפויה.
- פיתוח שמונע מפיצ'רים במקום מהבעיה עצמה.
דרישה 3
ניסוח הבעיה כמשימת למידה
תרגמו את הצורך מהעולם האמיתי לבעיית ML מוגדרת היטב. הגדירו במפורש את משימת החיזוי או ההחלטה, את הקלט והפלט, את ההנחות, את האילוצים ואת יעדי ההערכה.
אנטי-דפוסים נפוצים
- ניסוח שגוי של משימת ה-ML.
- משתנה מטרה מוגדר בצורה רופפת.
- פער בין הבעיה העסקית לבין הניסוח ה-ML שלה.
- התעלמות מהנחות או מאילוצים.
- מסגור הבעיה סביב הנתונים הזמינים במקום סביב הצורך האמיתי.
שלב 2. סקירת ספרות, נתונים ובסיסי ייחוס
מה כבר קיים, מהיכן מגיעים הנתונים, ומה הפתרון שלכם צריך לנצח.
דרישה 4
חדשנות
הבעיה שאתם פותרים, או האופן שבו אתם פותרים אותה, חייבת לכלול מרכיב חדשני משמעותי. היא לא אמורה להיות פתורה כבר, ועליה להיבדל באופן ממשי מהדרך שבה נפתרו בעיות דומות בעבר. החדשנות יכולה להיות בבעיה עצמה, בנתונים, בשיטה או ביישום, אך עליה להיות אמיתית וניתנת לזיהוי.
אנטי-דפוסים נפוצים
- פתרון מחדש של בעיה שכבר נפתרה היטב.
- מימוש מחדש של פרויקט קיים עם שינויים קוסמטיים בלבד.
- טענת חדשנות בלי לבדוק מה כבר קיים.
- כותרת שנשמעת חדשנית מעל פתרון סטנדרטי ומדף.
- בלבול בין ”חדש עבורי“ לבין ”חדש עבור התחום“.
דרישה 5
סקירת פתרונות בחזית הידע
בצעו סקירה יסודית של המודלים, השיטות והטכנולוגיות הרלוונטיים בחזית הידע. הראו הבנה עמוקה של אופן הפעולה שלהם, של החוזקות והמגבלות שלהם, והסבירו מדוע הם רלוונטיים לפרויקט.
אנטי-דפוסים נפוצים
- בחירת מודלים רק משום שהם פופולריים.
- תיאורים שטחיים.
- השוואה בין שיטות בלי להבין אותן.
- התעלמות מספרות עדכנית.
- הנמקה חלשה לבחירת המודל.
דרישה 6
מתודולוגיה לאיסוף וליצירת נתונים
פתחו והצדיקו מתודולוגיה מבוססת לאיסוף, ליצירה או לאצירה של נתונים, תוך שימוש בעקרונות שנלמדו בקורס. המתודולוגיה צריכה להיות שיטתית, ניתנת לשחזור ומתואמת ליעדי הפרויקט.
אנטי-דפוסים נפוצים
- בחירה שרירותית של מערך הנתונים.
- נתונים באיכות ירודה או מוטים.
- היעדר מתודולוגיית איסוף מתועדת.
- התעלמות משיקולים אתיים או משפטיים.
- נתונים שמייצגים בצורה גרועה את בעיית היעד.
דרישה 7
ניתוח נתונים חוקר ובניית בסיסי ייחוס
בצעו ניתוח נתונים חוקר (EDA) יסודי כדי להכיר את מערך הנתונים, לאתר בעיות איכות, לגלות דפוסים משמעותיים ולהנחות את החלטות המידול. בססו מודלי baseline חזקים לצורך השוואה.
אנטי-דפוסים נפוצים
- EDA שטחי.
- התעלמות מערכים חסרים, חריגים, חוסר איזון או דליפת נתונים.
- דילוג על מודלי baseline.
- בסיסי ייחוס חלשים.
- החלטות שאינן נתמכות בניתוח הנתונים.
שלב 3. הערכה ומסירת תוצרים
השוואה בין חלופות אמיתיות, דיווח מדויק עליהן, ומסירת ריפוזיטורי שמישהו אחר יכול להריץ.
דרישה 8
הערכה משווה של מספר גישות
ממשו והשוו כמה גישות מידול משמעותיות ולא טריוויאליות, באמצעות מתודולוגיה ניסויית הוגנת ומדדי הערכה מתאימים, ונתחו את הפשרות ביניהן. לפחות אחת מהגישות חייבת להיות מודל מאומן או מכוונן (fine-tuned): אי אפשר להסתמך רק על zero-shot או few-shot.
אנטי-דפוסים נפוצים
- הסתמכות רק על zero-shot או few-shot, ללא מודל מאומן או מכוונן.
- הערכה של מודל יחיד בלבד.
- השוואה בין וריאציות פרמטרים זניחות בלבד.
- השוואות לא הוגנות.
- דיווח תוצאות ללא ניתוח.
- בחירת המודל הטוב ביותר על סמך מדד בודד.
דרישה 9
הצגת התוצאות ותקשורן
הציגו את התוצאות בבהירות באמצעות מדדי הערכה מתאימים, ויזואליזציות אינפורמטיביות והסברים טכניים תמציתיים. תקשרו בבירור הן את הביצועים והן את התובנות המרכזיות.
אנטי-דפוסים נפוצים
- דיווח מדדים ללא פרשנות.
- מדדי הערכה לא מתאימים.
- ויזואליזציות לא ברורות או עמוסות.
- דוחות או מצגות עמוסים מדי.
- מסקנות שאינן נתמכות בראיות.
דרישה 10
איכות הריפוזיטורי ושחזוריות
נהלו ריפוזיטורי GitHub מקצועי עם שם משמעותי, README מקיף, ארגון הגיוני של הקבצים וכל התוצרים הדרושים כדי לאפשר שחזוריות. הגישו את הגרסה העדכנית ביותר של כל תוצר, ודאגו שהקוד, הנתונים, ה-README והמצגת (PPT) יהיו מתואמים זה עם זה, כך שהמספרים, האיורים והטענות יהיו עקביים בכולם.
אנטי-דפוסים נפוצים
- ארגון לקוי של הריפוזיטורי.
- היעדר README.
- מבנה פרויקט מבולגן.
- היעדר תוצרים הדרושים לשחזור התוצאות.
- היעדר דיאגרמות, צילומי מסך או תיעוד של תהליך העבודה.
- הגשת תוצרים לא מעודכנים, או קוד, נתונים, README ומצגת שאינם עקביים לגבי התוצאות.
שלב 4. קפדנות, התקדמות ועומק
ההבדל בין פרויקט שרץ פעם אחת לבין פרויקט שבאמת הונדס.
דרישה 11
קפדנות מתודולוגית ושיפור איטרטיבי
הראו מאמץ ממושמע ומשמעותי באמצעות ניסויים שיטתיים, השוואות מבוקרות, בחינה של hyperparameters ושל החלטות תכנון, ולידציה של הנתונים, ניתוח שגיאות וליטוש איטרטיבי. המתודולוגיה צריכה להיות תקינה בין אם הפרויקט הוא בעיקרו מיזם הנדסי ובין אם הוא חקר מדעי.
אנטי-דפוסים נפוצים
- עצירה אחרי המודל הראשון שעובד.
- כוונון מינימלי של hyperparameters.
- היעדר ולידציה של הנתונים.
- היעדר ניתוח שגיאות.
- היעדר מחזור שיפור איטרטיבי.
- הסתמכות עיוורת על AutoML או על קוד שנוצר בידי בינה מלאכותית.
דרישה 12
התקדמות הפרויקט והיענות למשוב
הראו התקדמות רציפה לאורך הסמסטר: עמידה באבני דרך משמעותיות, הטמעת המשוב של המרצה וליטוש הפתרון לאורך כמה איטרציות. הפרויקט הסופי אמור לשקף בבירור למידה וצמיחה טכנית.
אנטי-דפוסים נפוצים
- התקדמות מזערית אחרי הגשת ההצעה.
- התעלמות מהמשוב של המרצה.
- מימוש שנדחק לרגע האחרון.
- חזרה שוב ושוב על אותן טעויות.
- היעדר עדות לשיפור בין אבני הדרך.
דרישה 13
תחכום טכני וחשיבה ביקורתית
בנו פתרון מתוחכם טכנית, כזה שהצריך החלטות תכנון רבות ולא טריוויאליות, והיו מסוגלים להצדיק כל אחת מהן. התקדמו מעבר לבחירות מובנות מאליהן וזהו אתגרים עדינים, ניואנסים ייחודיים לתחום, הנחות סמויות, מקרי קצה ופשרות. העומק ניכר בהחלטות שאתם יכולים להגן עליהן, לא במורכבות ה-pipeline.
אנטי-דפוסים נפוצים
- pipeline טריוויאלי עם מעט החלטות תכנון של ממש.
- ניתוח שטחי.
- התייחסות למודלים כאל קופסאות שחורות.
- התעלמות מניואנסים של הנתונים או של התחום.
- דיון כללי ברמת ספר לימוד.
- שכפול הסברים שנוצרו בידי בינה מלאכותית ללא בחינה ביקורתית.
- אי-הנמקה של החלטות טכניות או היעדר דיון בפשרות.
לתלמידי תארים מתקדמים. דרישות נוספות
מעבר לשלוש-עשרה שלמעלה, פרויקט של תואר מתקדם נמדד בסטנדרט מחקרי: תרומה אמיתית, הערכה קפדנית, ומאמר שאפשר להגיש.
מתקדם 1
בעיה או יישום מהותיים
התמודדו עם בעיה בעלת ערך מהעולם האמיתי, מדעית או הנדסית. דוגמת צעצוע או הדגמה קטנה יכולות לשמש לאימות ראשוני, אך אינן מספיקות כליבת הפרויקט.
מתקדם 2
סקירה עמוקה ומובנית של עבודות קודמות
קראו מאמרים עדכניים רלוונטיים ומַפּוּ באופן שיטתי שיטות, מאגרי נתונים, הנחות, גישות הערכה, חוזקות ומגבלות קיימות. זהו בבירור את פער המחקר שהפרויקט מטפל בו.
מתקדם 3
תרומת מחקר ברורה
הגדירו תרומה לא טריוויאלית, כגון שיטה חדשה, הרחבה משמעותית, מאגר נתונים, בנצ’מרק, מסגרת הערכה, או ממצא אמפירי קפדני. שילוב של רכיבים קיימים בלבד אינו מספיק.
מתקדם 4
כמה מודלים חזקים, כולל SOTA
בנו והשוו לפחות שלושה מודלים שונים באמת, כולל גם מודל מכוונן (fine-tuned) וגם וריאנטים של zero-shot או few-shot (in-context), לצד בסיסי ייחוס מתאימים ולפחות שיטה עדכנית אחת ברמת state-of-the-art. הסבירו ונַמְּקו את כל בחירות התכן המרכזיות.
מתקדם 5
הערכה ניסויית ברמת מחקר
בצעו ניסויים מבוקרים, כולל מחקרי אבלציה, ריצות חוזרות, בדיקות עמידוּת, ניתוח שגיאות, והערכה על פני מספר מאגרי נתונים, תנאים או תרחישים רלוונטיים ככל שניתן.
מתקדם 6
דוח אקדמי כתוב היטב
הפיקו מיני-מאמר באיכות פרסום, המתאים לאחר ליטוש להגשה ל-arXiv. עליו לכלול תקציר, מוטיבציה, עבודות קשורות, מתודולוגיה, מערך ניסויי, תוצאות, דיון, מגבלות ומסקנות, כאשר הטענות נתמכות בראיות ובמקורות מצוטטים כראוי.
