בדיקות תקינות בסיסיות
ודאו שהמאגר נכון מבחינה טכנית.
בדקו ערכים חסרים, כפילויות, רשומות לא תקינות, את התפלגות התיוג, את הסכימה וערכים בלתי אפשריים, וקראו ידנית מדגם אקראי של רשומות.
EDA מעשי למאגרי נתונים סינתטיים
הריצו את זה לפני אימון כל מודל על מאגר נתונים סינתטי. כל מטרה עונה על שאלה אחרת בנוגע לאיכות המאגר, החל מהשאלה אם הנתונים נכונים מבחינה טכנית ועד לשאלה אם הם יבחינו בין מודלים חלשים לחזקים. משתלב עם המדריך יצירת נתונים סינתטיים.
שמונה מטרות לבדיקה לפני האימון
כל כרטיס מציג מה המטרה מוודאת ואת ה-EDA המעשי שבודק אותה.
כיסוי
ודאו שכל תרחיש מתוכנן מיוצג.
ספרו דגימות לכל מחלקה ולכל תכונה, ודאו שכל תרחיש מתוכנן וכל מקרה קצה קיים, ובחנו טבלאות הצלבה של המשתנים החשובים.
ריאליזם
ודאו שהנתונים הסינתטיים דומים לנתונים מהעולם האמיתי.
השוו את התפלגויות המאפיינים לנתונים אמיתיים היכן שהם זמינים, בחנו מדגמים אקראיים, המחישו הטמעות (embeddings) או אשכולות, ובקשו ממומחי תחום לסקור דוגמאות.
שונות (גיוון)
מנעו נתונים חזרתיים או נתונים שקרסו לאופן יחיד (mode collapse).
אתרו כפילויות וכמעט-כפילויות, אשכלו הטמעות, מדדו את הגיוון של אוצר המילים, המאפיינים או התמונות, וודאו שקיימים סגנונות ותנאים מרובים.
איכות תיוג
ודאו שהתיוגים מדויקים ועקביים.
סקרו ידנית מדגמים אקראיים, אמתו תיוגים באמצעות כללים או מודל שני, בחנו מקרים מבלבלים, ובדקו את עקביות התיוג.
דליפה
מנעו ממודלים ללמוד קיצורי דרך.
חפשו דגימות כפולות בין קבוצת האימון לקבוצת המבחן, בחנו מטא-נתונים ושמות קבצים, זהו מאפיינים בעלי מתאם גבוה עם התיוג, וודאו שלא ניתן להסיק את התיוג ממידע שלא נועד לכך.
הטיה ואיזון
אתרו התפלגויות מוטות או לא הוגנות.
שרטטו את תדירויות המחלקות, השוו התפלגויות דמוגרפיות או של תת-קבוצות, וודאו שתכונות חשובות אינן מיוצגות ביתר או בחסר.
רמת קושי
ודאו שמדד ההשוואה (benchmark) מעריך מודלים באופן משמעותי.
בחנו דוגמאות קלות מול קשות, ודאו את רמת העמימות, כללו מקרי קצה מאתגרים, והשוו קו בסיס מול מודל חזק יותר כדי לוודא שיש מקום לשיפור.
כלל אצבע
לפני האימון, שאלו את שמונה השאלות, כל אחת בשורה אחת.
- בדיקות תקינות בסיסיותהאם הנתונים נכונים?
- כיסויהאם כל מה שחשוב נכלל?
- ריאליזםהאם זה נראה אמיתי?
- שונותהאם זה מגוון מספיק?
- איכות תיוגהאם ניתן לסמוך על התיוגים?
- דליפההאם המודל יכול לנצל דליפת מידע או קיצור דרך?
- הטיה ואיזוןהאם המאגר מייצג?
- רמת קושיהאם המאגר הזה יבחין בין מודלים חלשים לחזקים?