קריטריונים להערכת פרויקטים

קריטריונים להערכת פרויקטים של סטודנטים. חמשת הממדים שעל פיהם נשפט פרויקט, מה מצופה בכל אחד מהם בפועל, והאנטי-דפוסים שמחלישים אותו לרוב. לרשימת הדרישות המפורטת, סעיף אחר סעיף, ראו דרישות הפרויקט.

קריטריון 1

הפגנת הבנה של תחום הבעיה

על הסטודנטים לפתח מומחיות של ממש בתחום הפרויקט. הניתוח צריך לחרוג מהתרשמויות שכל אדם יכול להגיע אליהן, ולהישען על מחקר, מקורות מקצועיים וספרות רלוונטית.

על הסטודנטים להבין בבירור
  • את מקרה השימוש המעשי ואת הבעיה שבה מטפלים.
  • את הערך שבפתרון הבעיה.
  • את המשתמשים, בעלי העניין והאילוצים התפעוליים הרלוונטיים.
  • פתרונות, שיטות ומגבלות קיימים.
אנטי-דפוסים
  • הבנה שטחית של הבעיה.
  • מוטיבציה שנשענת על טרנדים כלליים בבינה מלאכותית במקום על צורך אמיתי של משתמש.
  • התייחסות מועטה או היעדר התייחסות לפתרונות קיימים.
  • שימוש שגוי או לא עקבי במונחי התחום.
  • מטרות פרויקט מעורפלות או מנותקות מהבעיה עצמה.
קריטריון 2

חקירה מעמיקה של מרחב הפתרונות

על הסטודנטים לחקור לעומק את מרחב הפתרונות האפשריים, ולא לבחור מיד בגישה הראשונה שנראית ישימה.

על הפרויקט להדגים
  • היכרות עם מודלים, שיטות וטכנולוגיות בחזית הידע.
  • השוואה בין גישות פתרון חלופיות.
  • מיפוי ברור בין דרישות תחום הבעיה לבין החלטות התכן הטכניות.
  • בחירה מנומקת היטב של מודלים, ארכיטקטורות, כלים ורכיבי מערכת.
  • הבנה של היתרונות, המגבלות והפשרות (trade-offs) של הפתרון שנבחר.
אנטי-דפוסים
  • בחירה במודל או ב-framework הראשון ללא הצדקה.
  • תכן שמונע מהטכנולוגיה במקום מהבעיה.
  • היעדר השוואה לגישות חלופיות.
  • החלטות תכן שנשענות על פופולריות או היכרות מוקדמת במקום על הדרישות.
  • מיפוי לא עקבי בין מאפייני הבעיה לבין הבחירות הטכניות.
קריטריון 3

הבטחת חדשנות ושימוש חוזר יעיל

הפרויקט צריך לכלול מרכיב חדשנות משמעותי בניסוח הבעיה, בתכן הפתרון, באינטגרציית המערכת, בניסויים או ביישום. במקביל, על הסטודנטים לעשות שימוש חוזר יעיל במודלים, בספריות, במערכי נתונים, בכלים וברכיבי תוכנה קיימים במקום שבו הדבר מתאים, ולא לבנות מחדש שלא לצורך פונקציונליות שכבר זמינה.

על הסטודנטים להבחין בבירור בין
  • רכיבים קיימים שנעשה בהם שימוש חוזר.
  • רכיבים שהותאמו או הורחבו.
  • תרומות חדשות שפותחו במסגרת הפרויקט.
אנטי-דפוסים
  • מימוש מחדש של ספריות או מודלים סטנדרטיים ללא סיבה ברורה.
  • בניית תשתית בהיקף גדול במקום פתרון בעיית המחקר.
  • העתקת פרויקטים קיימים תוך שינויים קוסמטיים בלבד.
  • טענת חדשנות כאשר ההבדל מתמצה בפרטי מימוש.
  • אי-זיהוי של מה שחדש באמת בפרויקט.
קריטריון 4

יישום מתודולוגיה נכונה וקפדנית

על הסטודנטים לאמץ מתודולוגיה המתאימה לפרויקט ולתחום הבעיה. ההערכה צריכה להראות האם הפתרון המוצע אכן מטפל בבעיה המקורית ומספק ערך מדיד.

הדבר כולל
  • הליכים נכונים של איסוף, בחירה, יצירה או עיבוד מקדים של נתונים.
  • הפרדה נאותה בין נתוני אימון, ולידציה ומבחן.
  • בחירת בסיסי ייחוס (baselines) מתאימים.
  • שימוש במדדי הערכה רלוונטיים.
  • תכנון ניסויים נאות.
  • ניתוח שגיאות, מגבלות ומקרי כשל.
  • ניסויים שחזוריים ומתועדים היטב.
אנטי-דפוסים
  • שימוש במערכי נתונים או במדדי הערכה שאינם מתאימים.
  • דליפת נתונים בין האימון למבחן.
  • השוואה לבסיסי ייחוס חלשים, או היעדר בסיס ייחוס.
  • דיווח על דוגמאות מוצלחות בלבד תוך התעלמות מכשלים.
  • הסקת מסקנות שאינן נתמכות בראיות ניסוייות.
  • ניסויים שאינם ניתנים לשחזור או הליכים שאינם מתועדים.
קריטריון 5

הצגת הפרויקט והגנה עליו בבהירות

על הסטודנטים להציג את הבעיה, המתודולוגיה, הפתרון והתוצאות בבהירות ובאופן מקצועי. ההסברים צריכים להיות קצרים, מדויקים ואינפורמטיביים, ולא מעורפלים, כלליים מדי או עמוסים בפרטים מיותרים.

על הסטודנטים
  • להשתמש בטרמינולוגיה טכנית ומקצועית מדויקת.
  • להסביר את הפרויקט בתמציתיות וללא מידע לא רלוונטי.
  • לנמק כל החלטת תכן ומימוש משמעותית.
  • להסביר את אופן הפעולה הפנימי של המודלים ורכיבי המערכת.
  • להציג תוצאות באמצעות טבלאות, גרפים, דוגמאות והשוואות מתאימים.
  • להבחין בבירור בין הנחות, ראיות, מסקנות ומגבלות.
  • להשיב על שאלות בביטחון ולהפגין הבנה אישית של הפרויקט.
אנטי-דפוסים
  • שקפים עמוסים בטקסט או בפרטים לא רלוונטיים.
  • מילות באזז ללא הבנה טכנית.
  • חוסר יכולת להסביר החלטות תכן או התנהגות של מודל.
  • ערבוב בין פרטי מימוש לבין תרומות הפרויקט.
  • הצגה ויזואלית חלשה של התוצאות.
  • תשובות ארוכות ולא ממוקדות שאינן עונות ישירות על השאלה.