DataOps מארגן מסירת נתונים ומעקב. ריצה שהצליחה אינה מוכיחה תוכן נכון או עקיבות מלאה.
שליטה בהרצות חוזרות
הגדירו תוצאה צפויה של הרצה חוזרת ומנעו כפילויות או תוצאות חלקיות. שמרו קלטים, תקופה, כללים וגרסאות לשחזור; קלט שהשתנה עשוי לתת תוצאה אחרת. הגדירו גם שחזור מבוקר.
הפרדת גרסאות ושושלת נתונים
גרסאות מתארות מצבים ושינויים; שושלת מקשרת מקורות, עיבודים ותוצאות. בדקו שלמות, ייחודיות, עקביות, עדכניות, תקינות ודיוק לפי השימוש. נתון בפורמט תקין עשוי להיות שגוי ונתון מדויק ישן מדי.
| נושא | בדיקה לתיעוד |
|---|---|
| ביצוע | מצב טכני ותוצאה צפויה |
| איכות | בדיקות תוכן מתאימות לשימוש |
| מקור | מקורות, עיבודים ותוצאה מקושרים |
מקורות ובדיקה
אזורי זמן ואירועים מאוחרים
תקופת דוח תלויה בזמן האירוע ובכללי הסגירה.
- שמרו בנפרד זמן אירוע, זמן קליטה ואזור זמן עסקי. בדוגמה בדיונית, 23:30 UTC הוא 01:30 ביום הבא בהיסט קבוע UTC+02:00. חותמת הזמן עם אזור זמן של PostgreSQL אינה שומרת את שם האזור המקורי.
- כללו את ההתחלה והחריגו את הסיום. חשבו את הגבולות באזור העסקי לפני המרה ל־UTC. בדקו שינוי שעון עונתי, מעבר חודש ותאריך בלי שעה; יום מקומי אינו תמיד 24 שעות.
- הגדירו איחור מותר ומועד סגירת הדוח. חזרו על אותו מזהה כדי להבחין בין אירוע חדש לכפילות. שמרו גרסה שפורסמה ותעדו את השפעת התיקון; סימן מים מעריך הגעה ואינו מבטיח שלמות.
מקרה קבלה שניתן לשחזר
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.
הצגת נתוני המקרה
{
"event_time": "2026-10-08T23:30:00Z",
"report_zone": "UTC+02:00",
"local_time": "2026-10-09T01:30:00+02:00"
}החלטה צפויה
באזור הזמן שצוין האירוע שייך ל־9 באוקטובר. שמרו גם את רגע UTC.
נוהל בדיקה
- הגדירו אזור זמן ורגע ייחוס.
- שחזרו אירוע סמוך לחצות.
- שמרו UTC, תאריך מקומי וכלל סגירה. הוסיפו שעה מקומית דו־משמעית בעת שינוי השעון; שמרו היסט ואזור זמן במקום להסיק רגע מסוים.
האם יום הקליטה יכול לשמש כיום האירוע?
רק אם הגדרת הדוח דורשת זאת. שמרו את שני הזמנים והסבירו טיפול באירועים מאוחרים.
מקור ראשוני: PostgreSQL — Date/time types. שיטה קשורה: קריאת המדריך המעשי.
כשל באיסוף: להתאים יומנים ואירועים חסרים
להפריד בין אירועים שנוצרו, התקבלו וניתנים לשימוש; שקט אינו מוכיח שאין תקריות.
- מפו יישום, אוסף ואחסון עם אחראים. הכינו רצף סופי של אירועים בדיוניים עם מזהים יציבים בלי סודות או נתוני לקוחות. שמרו זמן אירוע וזמן תצפית; עיכוב איסוף אינו בהכרח אובדן.
- בבדיקה נתקו את היעד והשיבו אותו. עקבו אחר תור, ניסיונות, דחיות והפעלה מחדש. תור מתמשך עשוי לצמצם אובדן אך מוגבל ותלוי באחסון; הגדירו התנהגות כשהוא מלא. בדקו שהאיסוף אינו חוסם את השירות בשקט.
- התאימו מקור ייחוס לאירועים קריאים באותו מועד חיתוך. ספרו חזרות, עיכובים וחוסרים בנפרד; אישור רשת אינו מוכיח שימושיות סופית. בלי מקור אמין הכיסוי אינו ידוע, ולא אפס אובדן או תקריות.
מקרה קבלה שניתן לשחזר
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.
הצגת נתוני המקרה
{
"expected_ids": [
"E1",
"E2",
"E3"
],
"received_ids": [
"E1",
"E1",
"E3"
],
"received_rows": 3,
"unique_received": 2,
"missing_ids": [
"E2"
],
"observation_cutoff": "same_for_both_sets"
}החלטה צפויה
דוגמה בדיונית: צפויים E1, E2 ו־E3 אך מתקבלים E1, E1 ו־E3. שלוש שורות אינן מוכיחות שלמות: E1 חוזר ו־E2 חסר במועד החיתוך.
מקור ראשוני: OpenTelemetry — Collector resiliency. שיטה קשורה: קריאת המדריך המעשי.
ZIP ו־TAR: לחלץ בגבולות תיקייה ומשאבים
לבדוק נתיבים, קישורים ונתונים לאחר פריסה לפני פרסום הקבצים.
- חלצו לתיקייה חדשה לא ציבורית עם הרשאות מינימליות. דחו נתיבים מוחלטים, עלייה בתיקיות, קישורים וקבצים מיוחדים לא נחוצים. בדקו יעדים שנפתרו והתנגשויות לפי מערכת היעד, כולל אותיות גדולות. קידומת טקסט אינה מוכיחה תחימה.
- קבעו גבולות לכל קובץ ולמכלול על בתים שנכתבו, פריטים, עומק, זמן ומשאבי תהליך. אל תסתמכו רק על גודל דחוס או מוצהר. דחו ארכיונים מקוננים לא נחוצים או שתפו תקציב כללי. עדכנו ספרייה ומסננים.
- בדקו ../, נתיב מוחלט, קישור, כפילות וחריגת תקציב. כשל משאיר אצווה לא מפורסמת ואינו מחליף קבצים קיימים. בדקו סוגים ותוכן לפני פרסום; אמתו יעד בעת ניקוי התיקייה.
מקרה קבלה שניתן לשחזר
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה.
הצגת נתוני המקרה
{
"compressed_mb": 2,
"expanded_mb": 600,
"aggregate_budget_mb": 100,
"first_files_valid": true,
"expected": "stop_on_actual_overrun_and_do_not_promote"
}החלטה צפויה
דוגמה בדיונית: 2 MB דחוסים יוצרים 600 MB בתקציב 100 MB. עצרו עם חריגת הבתים שנכתבו ואל תפרסמו, גם אם הקבצים הראשונים נראים תקינים.
Python — tarfile extraction filters and further verification
מקור ראשוני: Python — tarfile extraction filters and further verification. שיטה קשורה: קריאת המדריך המעשי.
