ينظم DataOps تسليم البيانات ومتابعتها. نجاح التنفيذ لا يثبت صحة المحتوى أو التتبع الكامل.
ضبط إعادة التنفيذ
حدد نتيجة الإعادة ومنع التكرار والنتائج الجزئية. احفظ المدخلات والفترة والقواعد والإصدارات لإعادة إنتاج الحساب؛ تغير المدخلات قد ينتج نتيجة أخرى. حدد مسار استعادة مضبوطاً.
فصل الإصدارات عن النسب
تصف الإصدارات الحالات والتغييرات، ويربط نسب البيانات المصادر والتحويلات والنتائج. افحص الاكتمال والتفرد والاتساق والحداثة وصحة التنسيق والدقة بحسب الاستخدام. قد يكون التنسيق صحيحاً والبيان خاطئاً، أو يكون دقيقاً وقديماً جداً.
| النقطة | ما يجب توثيقه |
|---|---|
| التنفيذ | حالة تقنية ونتيجة متوقعة |
| الجودة | فحوص محتوى مناسبة للاستخدام |
| المنشأ | ربط المصادر والتحويلات والنتيجة |
المصادر والتحقق
المناطق الزمنية والأحداث المتأخرة
تعتمد فترة التقرير على وقت الحدث وقواعد الإغلاق.
- سجّل وقت الحدث ووقت الاستلام والمنطقة الزمنية للعمل بشكل منفصل. في مثال افتراضي، تصبح 23:30 UTC الساعة 01:30 من اليوم التالي عند إزاحة ثابتة UTC+02:00. نوع الطابع الزمني مع المنطقة في PostgreSQL لا يحتفظ باسم المنطقة الأصلي.
- اجعل البداية مشمولة والنهاية غير مشمولة. احسب الحدود في منطقة العمل قبل تحويلها إلى UTC. اختبر تغيير التوقيت الموسمي ونهاية الشهر والتاريخ دون ساعة؛ اليوم المحلي لا يساوي دائماً 24 ساعة.
- حدّد التأخر المسموح وموعد إغلاق التقرير. كرّر المعرّف نفسه لتمييز الحدث الجديد من النسخة المكررة. احتفظ بالنسخة المنشورة وأثر التصحيح؛ العلامة المائية تقدير للوصول وليست ضماناً لاكتمال البيانات.
حالة قبول قابلة للتكرار
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.
عرض بيانات الحالة
{
"event_time": "2026-10-08T23:30:00Z",
"report_zone": "UTC+02:00",
"local_time": "2026-10-09T01:30:00+02:00"
}القرار المتوقع
الحدث يقع في 9 أكتوبر بالمنطقة المحددة. احتفظ أيضاً بلحظة UTC.
إجراء التحقق
- حدد منطقة التقرير ولحظة المرجع.
- أعد حدثاً قريباً من منتصف الليل.
- احتفظ بـ UTC والتاريخ المحلي وقاعدة الإغلاق. أضف وقتاً محلياً ملتبساً أثناء تغيير الساعة؛ واحتفظ بالإزاحة والمنطقة بدلاً من استنتاج لحظة محددة.
هل يمكن اعتبار يوم الاستلام يوم الحدث؟
فقط إذا كان تعريف التقرير ينص على ذلك. احتفظ بالوقتين واشرح معالجة الأحداث المتأخرة.
المصدر الأساسي: PostgreSQL — Date/time types. المنهج المرتبط: اقرأ الدليل العملي.
تعطل الجمع: مطابقة السجلات والأحداث المفقودة
فصل الأحداث المنتجة والمستلمة والقابلة للاستخدام؛ الصمت لا يثبت غياب الحوادث.
- اربط التطبيق والجامع والتخزين بمسؤولين. أعد تسلسلاً محدوداً من أحداث افتراضية بمعرّفات ثابتة دون أسرار أو بيانات عملاء. احتفظ بوقت الحدث والملاحظة؛ تأخر الجمع لا يعني تلقائياً فقداً.
- في الاختبار أوقف الوجهة ثم أعدها. راقب الطابور والمحاولات والرفض وإعادة التشغيل. الطابور الدائم قد يحد من بعض الفقد لكنه محدود ويعتمد على التخزين؛ حدّد سلوكه عند الامتلاء. افحص ألا يوقف الجمع الخدمة بصمت.
- طابق المرجع مع الأحداث المقروءة عند وقت قطع واحد. عدّ التكرار والتأخر والغياب منفصلة؛ إقرار الشبكة لا يثبت الاستخدام النهائي. بلا مرجع موثوق تكون التغطية مجهولة لا صفر أحداث مفقودة أو صفر حوادث.
حالة قبول قابلة للتكرار
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.
عرض بيانات الحالة
{
"expected_ids": [
"E1",
"E2",
"E3"
],
"received_ids": [
"E1",
"E1",
"E3"
],
"received_rows": 3,
"unique_received": 2,
"missing_ids": [
"E2"
],
"observation_cutoff": "same_for_both_sets"
}القرار المتوقع
مثال افتراضي: المتوقع E1 وE2 وE3 لكن المستلم E1 وE1 وE3. ثلاثة صفوف لا تثبت الاكتمال: E1 مكرر وE2 غائب عند وقت القطع.
المصدر الأساسي: OpenTelemetry — Collector resiliency. المنهج المرتبط: اقرأ الدليل العملي.
ZIP وTAR: الاستخراج ضمن حدود المجلد والموارد
فحص المسارات والروابط والبيانات المفكوكة قبل نشر الملفات المستخرجة.
- استخرج إلى مجلد جديد غير عام بصلاحيات دنيا. ارفض المسارات المطلقة والخروج للأعلى والروابط والملفات الخاصة غير اللازمة. افحص الوجهات المحلولة والتعارضات وفق نظام الهدف بما فيها حالة الأحرف. بادئة نصية لا تثبت الاحتواء.
- ضع حدوداً لكل ملف وللمجموع على البايتات المكتوبة وعدد الإدخالات والعمق والوقت وموارد العملية. لا تعتمد فقط على الحجم المضغوط أو المعلن. ارفض الأرشيفات المتداخلة غير اللازمة أو شارك ميزانية عامة بين المستويات. حدّث المكتبة والمرشحات.
- اختبر ../ ومساراً مطلقاً ورابطاً وتكراراً وتجاوز الميزانية. يجب أن يبقى الناتج غير منشور عند الفشل وألا يستبدل ملفات موجودة. افحص الأنواع والمحتوى قبل النشر وتحقق من الوجهة عند تنظيف المجلد.
حالة قبول قابلة للتكرار
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.
عرض بيانات الحالة
{
"compressed_mb": 2,
"expanded_mb": 600,
"aggregate_budget_mb": 100,
"first_files_valid": true,
"expected": "stop_on_actual_overrun_and_do_not_promote"
}القرار المتوقع
مثال افتراضي: 2 ميغابايت مضغوطة تنتج 600 ميغابايت بميزانية 100. توقف عند تجاوز البايتات المكتوبة وأبق الدفعة غير منشورة حتى لو بدت الملفات الأولى سليمة.
Python — tarfile extraction filters and further verification
المصدر الأساسي: Python — tarfile extraction filters and further verification. المنهج المرتبط: اقرأ الدليل العملي.
