מצגת הצעת הפרויקט

תארו את ההקשר האמיתי שבו הבעיה מתרחשת, וענו על:

• מי חווה את הבעיה?
• איזה תהליך, מערכת, או החלטה מושפעים?
• מדוע זה חשוב?
• מהו הערך המעשי של פתרונה?
• מדוע הבעיה קשה?
• כיצד מטפלים בה כיום?
• מהן המגבלות של הפתרונות הקיימים?

שמרו על מקרה שימוש ספציפי ומבוסס ראיות. אל תסתמכו על טענות מובנות מאליהן כמו ”זה חוסך זמן“. במקום זאת אמרו:

• של מי הזמן נחסך
• איזו פעילות משתפרת
• אילו שגיאות או עלויות מצטמצמות
• מדוע הכלים הקיימים אינם מספקים

כללו לפחות אחד מ:

• דוגמאות ממערכות אמיתיות
• תרחישי משתמש
• מקורות מדעיים או מקצועיים
• מוצרים או שירותים קיימים
• דוגמאות מייצגות של קלט ופלט
• סטטיסטיקות המראות את היקף הבעיה

הגדירו בדיוק מה הפרויקט יעשה. הגדרת בעיה טובה מתארת:

• את הקלט
• את הפלט הצפוי
• את משימת העיבוד
• את המשתמשים או המערכת שאליהם מכוונים
• את התנאים שבהם המערכת פועלת

בהינתן [קלט], פתחו מערכת שמייצרת [פלט] כדי לתמוך ב-[מקרה שימוש], תוך עמידה ב-[אילוצים חשובים].

המשימה חייבת להיות ברורה, בעלת משמעות טכנית, ישימה במסגרת לוח הזמנים, מדידה, וקשורה ישירות למקרה השימוש המניע.

כשהמערכת מורכבת, פרקו אותה לצעדים טכניים, לדוגמה:

• אספו או הכינו את הנתונים
• זהו מידע רלוונטי
• הפעילו מודל
• דרגו או סווגו את התוצאות
• הציגו את הפלט למשתמש

הסבירו מה חדש או בעל ערך. חדשנות יכולה לנבוע מ:

• יישום חדש
• התאמת שיטה קיימת לתחום חדש
• שילוב של כמה שיטות
• יצירה או תיוג של מאגר נתונים חדש
• פרוטוקול הערכה חדש
• השוואת שיטות שלא הושוו קודם
• שיפור איכות, יעילות, יכולת הסבר, או שמישות
• שילוב מודלים קיימים למערכת שלמה (end-to-end) שימושית

בססו את החדשנות על חקר עבודות קודמות. זהו:

• מה כבר קיים
• מה ניתן לעשות בו שימוש חוזר
• איזו מגבלה נותרת
• מה הפרויקט מוסיף

חדשנות אינה מחייבת ארכיטקטורה נוירונית חדשה לגמרי; תרומה הנדסית או ניסויית חזקה נחשבת גם היא.

תארו את הפתרון הטכני המתוכנן. לכל צעד מרכזי, הסבירו:

• באיזה מודל, אלגוריתם, API, ספרייה, או טכניקה ייעשה שימוש
• מדוע הוא מתאים
• אילו חלופות נשקלו
• אילו שינויים או כוונון עדין (fine-tuning) עשויים להידרש

התקדמו מעבר לקריאת מודל בודדת ולא מוסברת. שקלו:

• מודלים מאומנים מראש
• קווי בסיס מסורתיים
• מודלים חדישים (state-of-the-art)
• כוונון עדין (fine-tuning)
• הנדסת פרומפטים
• אחזור (retrieval)
• הגדלת נתונים (augmentation)
• עיבוד מבוסס-חוקים
• עיבוד מאוחר (post-processing)
• דירוג
• כיול
• תיקון שגיאות

הציגו את הצינור (pipeline) השלם, לא רק את המודל המרכזי.

הפרויקט חייב לכלול לפחות מודל אחד מאומן או מכוונן (fine-tuned), ולא רק zero-shot או few-shot.

תארו את הנתונים הדרושים לפיתוח ולהערכה:

• איזה מאגר נתונים
• מהיכן הוא מגיע
• כמה דגימות
• מה כל דגימה מכילה
• אילו תוויות או הערות קיימות
• כיצד הוא מתחלק לאימון, ולידציה, ומבחן
• האם יש לאסוף או לייצר נתונים נוספים

כשמשתמשים בנתונים סינתטיים, הסבירו:

• מדוע נתונים אמיתיים אינם מספיקים
• אילו מאפיינים נשלטים
• כיצד נוצר גיוון
• כיצד נבדקים ריאליזם ונכונות
• כיצד נשמרים נתונים סינתטיים בנפרד מנתוני המבחן

תנו דוגמאות מייצגות של קלטים, תוויות, ופלטים צפויים, ונקבו בסיכונים:

• נתונים לא מספיקים
• חוסר איזון בין מחלקות
• רעש בתוויות
• מגבלות פרטיות
• דגימות כפולות
• דליפת נתונים
• נתונים מוטים או לא מייצגים

הגדירו כיצד נמדדת הצלחה:

• אילו מדדים
• מדוע כל אחד מתאים
• איזו אמת-יסוד (ground truth) נדרשת
• כיצד נבנית קבוצת המבחן
• אילו מערכות או מודלים מושווים
• איזו תוצאה נחשבת הצלחה

כללו:

• לפחות קו בסיס אחד
• הערכה כמותית
• דוגמאות איכותניות במקום שבו הדבר מועיל
• הערכה של רכיבי הצינור המרכזיים
• הערכה מקצה לקצה (end-to-end) של המערכת כולה

מדדים אפשריים: דיוק (accuracy); precision, recall, ו-F1; ROC-AUC או PR-AUC; שגיאה מוחלטת ממוצעת; מדדי דירוג; מדדי איכות גנרציה; זמן תגובה (latency); עלות; חוסן; הערכה אנושית.