מצגת האמצע מראה שהפרויקט עבר מתכנון לעבודה טכנית מאומתת: הגדרה מחודדת, נתונים אמיתיים, בייסליין עובד, ותוצאות ראשוניות מדידות.
עד מצגת האמצע, על הצוות:
לחדד את הגדרת הפרויקט
להשלים סקירה משמעותית של עבודות קודמות
להשיג או ליצור את מאגר הנתונים המרכזי
לבצע ניתוח נתונים חקרני (EDA)
לממש בייסליין
להפיק תוצאות ראשוניות מדידות
לזהות שגיאות וסיכונים טכניים
להכין תוכנית השלמה ריאלית
הציגו עדות להתקדמות, לא רק תוכניות.
מה מצגת האמצע חייבת להראות
שישה חלקים, לכל אחד מה להציג, הדרישות, וממה להימנע.
1
סקירת הפרויקט וחידודו
מה להציג
סקרו בקצרה:
את תרחיש השימוש שמניע את הפרויקט
את המשימה הפורמלית של הפרויקט
את הקלטים והפלטים המתוכננים
את התרומה המרכזית
את קריטריוני ההערכה
לאחר מכן הסבירו כיצד הפרויקט השתנה מאז ההצעה: היקף מצומצם יותר, שאלת מחקר מעודכנת, מאגר נתונים או מודל שונה, אילוצים שנוספו, רכיב לא ריאלי שהוסר, או הערכה משופרת.
דרישות
שינויים צפויים ויש להסביר אותם ביושר. פרויקט טוב מתפתח ככל שהצוות לומד יותר על הבעיה, הנתונים, עבודות קודמות, מגבלות המודל, והמשאבים הזמינים.
הימנעו מ
לחזור על ההצעה ללא עדכונים
להסתיר שינויים משמעותיים
לשמור על היקף לא ריאלי רק משום שהיה בהצעה
לשנות את הפרויקט בלי להסביר מדוע
2
עבודות קודמות
מה להציג
סקרו לפחות שלושה מאמרים מדעיים רלוונטיים, שנבחרו בשל היותם עדכניים, משפיעים, או קשורים ישירות. ארגנו אותם בטבלת השוואה עם:
כותרת ושנה
משימת המחקר
מודלים או שיטות
מאגרי נתונים
מדדי הערכה
תוצאות עיקריות
מגבלות
הקשר לפרויקט שלכם
דרישות
הסקירה צריכה לעצב את החלטות הפרויקט. הסבירו:
באילו שיטות תוכלו להשתמש מחדש
אילו בייסליינים לממש
אילו מאגרי נתונים או מדדים הם סטנדרטיים
באיזו מגבלה הפרויקט שלכם מטפל
השתמשו במאגרי מידע מדעיים ובמדדי ציטוט כדי למצוא עבודות חזקות.
הימנעו מ
לסכם מאמרים בנפרד בלי להשוות ביניהם
לבחור מאמרים רק משום שהם קלים
לצטט פוסטים בבלוגים במקום עבודה מדעית
לרשום מאמרים שאינם משפיעים על תכנון הפרויקט
לטעון לחדשנות בלי להראות במה אתם שונים
3
מאגר הנתונים וניתוח נתונים חקרני
מה להציג
תארו את מאגר הנתונים שאספתם, בניתם, תייגתם, או ייצרתם:
מספר הדגימות
מקורות הנתונים
תוויות
התפלגויות מחלקות
אורכי קלט או ממדים
ערכים חסרים
רשומות כפולות
דוגמאות מייצגות
חלוקות אימון, אימות ומבחן
ניתוח נתונים נדרש
בצעו ניתוח רלוונטי לפרויקט, כגון:
גרפי תדירות מחלקות
התפלגויות אורך טקסט
התפלגויות גודל תמונה
התפלגויות מאפיינים
הופעה משותפת של תוויות
התפלגויות זמן
ניתוח נתונים חסרים
מתאמים
דוגמאות לדגימות קשות או דו-משמעיות
דרישות
אמרו מה למדתם וכיצד זה משנה את הפתרון, לדוגמה:
חוסר איזון בין מחלקות מחייב פונקציית הפסד משוקללת
קלטים ארוכים מחייבים קיצוץ או חלוקה למקטעים
תוויות רועשות מחייבות אימות ידני
דליפת מידע מחייבת חלוקה שונה
נתונים מוגבלים מחייבים הגדלת נתונים או למידת העברה
הימנעו מ
להציג גרפים ללא פרשנות
להציג רק ממוצעים
להתעלם מדגימות חריגות או קשות
לשנות נתונים בלי לתעד זאת
להשתמש בקבוצת המבחן במהלך הפיתוח
4
פתרון בייסליין
מה להציג
ממשו והעריכו לפחות בייסליין אחד, נקודת ייחוס פשוטה ואמינה. אפשרויות:
חיזוי מחלקת הרוב
כללים או היוריסטיקות
מודלים לינאריים או מבוססי עצים
מודל מאומן מראש ללא כוונון עדין
שיטה מוכרת מעבודה קודמת
פתרון פשוט מבוסס prompt
ספרייה או API קיימים
דרישות
תארו את הארכיטקטורה או הלוגיקה של הבייסליין, תצורת האימון, העיבוד המקדים, מאגר ההערכה, המדדים, והתוצאות.
הבייסליין חייב להיות חזק מספיק כדי שהשיפורים המאוחרים יהיו משמעותיים.
מודל מבוסס-prompt או מודל מאומן-מראש ללא כוונון מתאים כבייסליין, אבל הפתרון הסופי חייב לכלול מודל מאומן או מכוונן (fine-tuned), ולא רק zero-shot או few-shot.
הימנעו מ
בייסליינים חלשים במכוון
להשוות רק מול חיזוי אקראי
לקרוא למודל הסופי המוצע שלכם בייסליין
לדווח תוצאות ללא התצורה
להשוות שיטות על חלוקות נתונים שונות
5
תוצאות ראשוניות וניתוח שגיאות
מה להציג
הציגו תוצאות מדידות בטבלאות ובגרפים נקיים:
תוצאות הבייסליין
תוצאות של חלופות ראשוניות
ביצועים לכל מחלקה או לכל קבוצה
הצלחות מייצגות
כשלים מייצגים
ניתוח שגיאות
בחנו פלטים שגויים או חלשים וקבצו אותם לקטגוריות משמעותיות, כגון:
קלט דו-משמעי
הקשר חסר
תוויות גרועות
מחלקות נדירות
הזיית מודל
אחזור שגוי
כשל בעיבוד מקדים
מונחי תחום
קלט ארוך או מורכב
היסט התפלגות
דרישות
לכל קטגוריית שגיאה חשובה, הסבירו מדוע היא מתרחשת, כמה היא שכיחה, כיצד היא משפיעה על המשתמש, ואיזה שינוי עשוי לתקן אותה.
הימנעו מ
להציג רק מדדים ממוצעים
להסתיר ניסויים שנכשלו
לדווח דוגמאות מובחרות בקפידה
לקרוא לשגיאות אקראיות בלי לחקור
להציע שיפורים שאינם קשורים לכשלים שנצפו
6
תוכנית השלמה
מה להציג
הציגו טבלה ובה, לכל משימה שנותרה: ההיקף הטכני, חבר הצוות האחראי, תאריך היעד, הפלט הצפוי, הסיכון, ופתרון גיבוי.
הפריט האחרון צריך להיות הכנת המצגת הסופית והגשת המאגר.
דרישות
בססו את התוכנית על העדויות הנוכחיות, לא על ההצעה. תעדפו:
פתרון בעיות נתונים
מימוש מודלים להשוואה
הרצת ניסויים מבוקרים
ביצוע ניתוח שגיאות
שיפור המערכת
הכנת תוצאות ניתנות לשחזור
הימנעו מ
תוכניות עם פעילויות מעורפלות בלבד כמו ”לשפר את המודל“
יותר מדי ניסויים ללא סדרי עדיפויות
להשאיר את ההערכה לשבוע האחרון
ללטש את הממשק בזמן שהתוצאות המרכזיות חלשות
הציגו דוגמאות קונקרטיות של הנתונים והמודל
הפכו את הדברים לקונקרטיים עם דוגמאות אמיתיות: דוגמאות נתונים (תמונות או טקסט), כיצד הנתונים נוצרים או עוברים עיבוד מקדים, שלבי המודל, קלט ופלט אמיתיים של המודל, וכמה מקרי שגיאה אמיתיים.
דוגמאות נתונים (תמונות או טקסט)
תמונה, צילום חזה 224×224 · תווית: דלקת ריאות
"App crashes when I upload a PDF over 10 MB."
טקסט, פנייה לתמיכה → תווית: באג
כיצד הנתונים נוצרים או עוברים עיבוד
"Great pizza, fast delivery."→"gr8 pizza, delivery was not fast"
"The wifi keeps dropping every few minutes."→{ label: network, conf: 0.92 }
"סכם את הרשומה הקלינית: ..."→"כאב חזה לסירוגין במשך יומיים ..."
תמונת קלט→2 תיבות: car 0.94, pedestrian 0.81
שגיאות המודל, עם הסיבה הסבירה
חזה spam, האמת לא spam: המודל נתן משקל יתר לביטוי שיווקי בתוך ציטוט בתשובה.
זיהה מכונית אחת, פיספס אחת בגשם כבד: יחס אות-לרעש נמוך מחק את הקצוות.
יצר מינון שאינו מופיע ברשומת המקור: האחזור החזיר קטע לא רלוונטי.
רשימת תיוג להגשה
זוהי בדיקה סופית מהירה, לא תחליף למדריך המלא. קראו קודם את הדרישות המלאות שלמעלה, ואז השתמשו בעשרת הפריטים האלה כדי לוודא שהחלקים המרכזיים נמצאים במקומם לפני ההגשה.
הגדרת הפרויקט חודדה, והשינויים מאז ההצעה מוסברים.
נסקרו לפחות שלושה מאמרים רלוונטיים בטבלת השוואה.
מאגר הנתונים הושג או נוצר, עם כמויות, תוויות וחלוקות.
בוצע ניתוח נתונים חקרני (EDA) עם פרשנות, לא רק גרפים.
מומש והוערך לפחות בייסליין אמין אחד.
מוצגות תוצאות ראשוניות מדידות בטבלאות ובגרפים נקיים.
השגיאות מנותחות ומקובצות לפי סיבה, לא רק ממוצעות.
מודל מאומן או מכוונן מתוכנן או בעבודה, ולא רק prompting.
מוצגות דוגמאות קונקרטיות של נתונים, קלט/פלט של המודל ושגיאות.
