חמשת הממדים שעל פיהם נשפט פרויקט עמידוּת בקורס הראייה. כל ממד מציב זה לצד זה את האותות המסמנים עבודה חזקה ואת אלה שמחלישים אותה. מה הפרויקט חייב לכלול הוא נושא נפרד, הנדון במדריך דרישות הפרויקט לקורס הראייה.
חמשת הממדים
ההערכה שוקלת את כל החמישה יחד; פרויקט קפדני שאינו מציג את הממצאים באופן חזותי הוא עדיין חלקי, ולהפך.
קריטריון 1
תכנון המחקר ובחירתו
האם מאגר הנתונים, המשימות והעיוותים נבחרו במכוון ומנומקים: קיימת אמת מידה (ground truth), המשימות משתרעות על פני ראייה ברמה נמוכה וגבוהה, והעיוותים ריאליסטיים לתחום.
חזק
המשימות משתרעות על שיטות קלאסיות ושיטות עומק.
עיוותים המתאימים לתחום, מנומקים עם קישורים.
תת-מאגר נתונים קבוע עם seed.
חלש
שלושה וריאנטים של משימה אחת.
עיוותים שאינם קשורים לתחום.
בחירות שנטענות אך אינן מנומקות.
קריטריון 2
קפדנות המדידה
האם הביצועים נמדדים כראוי: בסיס ייחוס נקי מול אמת המידה, מדדים המתאימים למשימה, עוצמת עיוות המכוילת ל-SNR/PSNR, ותוצאות המפורקות לפי מחלקה ולפי רמת עוצמה.
חזק
מדד נכון לכל משימה (mAP, mIoU, יחס התאמה).
שחיקת ביצועים המשורטטת מול SNR ביחידות dB.
טבלאות לפי מחלקה ולפי SNR.
חלש
פלטי הדגמה במקום מדדים.
מספר מצרפי יחיד שמסתיר קריסת מחלקה.
עוצמה כערך שרירותי של כפתור כוונון.
קריטריון 3
עומק החקירה
כמה יסודי הכיסוי של המרחב: משימות, עיוותים ורמות עוצמה מרובים, ושתי אסטרטגיות השחזור נחקרות ולא נקודה בודדת שנמדדה. תוצאות שליליות ומפתיעות נשמרות ואינן מוסתרות.
חזק
סריקות עוצמה צפופות, לא שתי נקודות.
ניסיון גם בשיפור תמונה וגם ב-fine-tuning.
דיווח כן על כשלים.
חלש
עיוות יחיד ברמה אחת.
ניסיון באסטרטגיית שחזור אחת בלבד.
תמונות מקרה מיטבי שנבררו בקפידה.
קריטריון 4
ניתוח השחזור ותובנה
האם שיפור התמונה וה-fine-tuning מושווים באופן הוגן על אותן משימות ואותן עוצמות, והאם הפרויקט מסיק מסקנה הניתנת להגנה לגבי מתי כל אסטרטגיה עוזרת ומדוע.
חזק
השוואה ישירה בתנאים זהים.
מסקנה ברורה של מתי כל גישה מנצחת.
קישור התוצאות לרמת ההפשטה של המשימה.
חלש
אסטרטגיות שמושוות על תת-מאגרים שונים.
מספרים ללא פרשנות.
טענת שחזור ללא הפרש מול בסיס הייחוס.
קריטריון 5
המחשה ותקשורת
כמה בבירור העבודה מוצגת ומוגנת. פרויקטים חזקים הופכים את הממצא לגלוי: תמונות עם הערות (annotations) על גביהן, רשתות לפני/אחרי לאורך עיוות ושחזור, וגרפי מדידה (עקומות לפי SNR, עמודות לפי מחלקה). שלושת הפאנלים שלהלן הם אוצר המילים הוויזואלי המינימלי שכל דוח צריך לדבר בו.
