هكذا سنقيس
مدى صحة أحكام الذكاء الاصطناعي

التعريف. نسبة الأحكام التي يتطابق فيها تصنيف الذكاء الاصطناعي (رصد صحيح، إنذار كاذب، يحتاج إلى تحقيق إضافي) ومستوى الخطورة مع ما أقرّه المحلل نهائيًا.

القياس. نراجع كل الأحكام ذات الخطورة العالية فما فوق، ونسحب عينة عشوائية شهرية من الباقي. المرجع هو الحكم الذي يقرّه محلل العميل، وإن لم يوجد حكم مقرّ من جهة العميل يقيّم الحالة محللان من Genox كلٌّ على حدة. إذا اختلفا يحسم محلل ثالث، ونسجل عدد حالات الاختلاف أيضًا. ولأن من يرى حكم الذكاء الاصطناعي أولًا يميل إلى اتباعه، يجري تقييم العينات على شاشة تُخفي حكم الذكاء الاصطناعي ودرجة ثقته.

السبب. لو اكتفينا بنسبة تطابق إجمالية لرفعتها التنبيهات منخفضة الخطورة لكثرة عددها. لذلك نعرض النتائج مقسّمة حسب مستوى الخطورة.

التعريف. الإنذار الكاذب حالة حكم فيها الذكاء الاصطناعي بوجود تهديد ثم أقرّ المحلل أنها طبيعية. والتهديد الفائت حالة أغلقها الذكاء الاصطناعي على أنها طبيعية أو منخفضة الخطورة ثم ثبت لاحقًا أنها تهديد.

القياس. نعدّ الإنذارات الكاذبة من العينة نفسها المستخدمة لدقة الحكم. أما التهديدات الفائتة فنبحث عنها بطريقتين: نعيد فتح عينة شهرية من التنبيهات التي أغلقها الذكاء الاصطناعي ليراجعها المحلل، ونتتبع ما اكتُشف لاحقًا في التحقيق في الحوادث أو في صيد التهديدات ونربطه بالتنبيهات التي صدرت وقتها. نسجل عدد الحالات من كل طريق على حدة.

السبب. كل تنبيه يغلقه ذكاء المراقبة الاصطناعي لا يعود المحلل للنظر فيه. وعدّ التهديدات الفائتة هو عدّ لما لا نعرفه، فلا بد أن يأتي الرقم أقل من الواقع، ونذكر ذلك في التقرير كما هو.

التعريف. نسبة الأحكام التي لا يرتبط بسجلها أي دليل، أو التي لا تشير جملة التعليل فيها إلى أي معرّف دليل.

القياس. نفحص كل الأحكام آليًا. صيغة سجل الحكم تشترط معرّف دليل لكل تعليل، وإن غاب المعرّف يتحول الحكم إلى "أدلة غير كافية" ويُحال إلى إنسان.

السبب. حين تمنع الصيغة ذلك يبدو الصفر أمرًا مفروغًا منه. نعدّه مع ذلك لأن مسارات تتجاوز الفحص قد تظهر، وغالبًا ما تكون في المسار البديل الذي يعمل حين تنتهي مرحلة التحقيق بانتهاء المهلة، أو في شيفرة معالجة الاستثناءات. وفي أي شهر لا تكون فيه النسبة صفرًا ننشر السبب وما أصلحناه.

التعريف. نتحقق مما إذا كان الذكاء الاصطناعي قد اختار الأدوات الصحيحة أثناء التحقيق (البحث في السجلات، الاستعلام عن الأصول، التشغيل في بيئة معزولة، الاستعلام من استخبارات التهديدات)، وما إذا كانت معاملات مثل اسم المضيف والنطاق الزمني صحيحة، وما إذا كان قد أغفل استدعاءً لازمًا، أو حاول استدعاءً خارج النطاق المسموح.

القياس. يراجع مهندسو Genox عينة من مسارات التحقيق خطوة بخطوة ويقيّمونها. أما محاولات الاستدعاء خارج النطاق المسموح فتُحصى كلها آليًا دون عينات.

السبب. حين نتتبع الأحكام الخاطئة نجد أن الخلل يقع في مرحلة الاستعلام أكثر مما يقع في الاستنتاج. إذا ضُبط النطاق الزمني للبحث في السجلات أقصر بخمس عشرة دقيقة فستكون النتيجة أنه "لا يوجد" دليل. ونعدّ الاستدعاءات خارج النطاق المسموح وحدها لأنها تمثل الخطر نفسه الذي يصفه البند LLM06 Excessive Agency في OWASP Top 10 for LLM Applications 2025.

التعريف. نقارن أسطر السجلات ومعرّفات الأحداث وبصمات الملفات والمسارات المقتبسة في سجل الحكم بالبيانات الأصلية التي جُمعت فعلًا. إذا اقتُبس سجل غير موجود أو اختلف مضمونه نعدّه عدم تطابق.

القياس. نقارن كل الأحكام آليًا. نستعلم من مخزن البيانات الأصلية بموضع الاقتباس ونقارن البصمات، وإذا لم يتطابق عنصر واحد يُعلَّق الحكم ويُحال إلى المحلل. ننشر عدد الأحكام المعلّقة وعدد ما كان منها اختلاقًا فعليًا.

السبب. النماذج اللغوية الكبيرة قادرة على تأليف أسطر سجلات تبدو مقنعة. تصنّف OWASP ذلك تحت LLM09 Misinformation، ويتناوله NIST AI 600-1 باسم confabulation. لكن هذه المقارنة تتحقق من وجود الاقتباس فقط، أما سوء تفسير سجل موجود فيظهر في دقة الحكم.

التعريف. من بين التوصيات التي تتطلب موافقة، مثل عزل مضيف أو قفل حساب، نسبة ما وافق عليه المحلل أو عدّله أو رفضه. ونسبة التراجع هي نسبة الإجراءات التي نُفذت بعد الموافقة ثم أُلغيت لاحقًا بسبب "خطأ في الحكم".

القياس. نحصي سجلات شاشة الموافقة كلها. وعند إلغاء إجراء يُطلب اختيار السبب، فنفصل ما رُفع بسبب أثره على العمل عما رُفع لأن الحكم كان خاطئًا. ونسجل أيضًا الزمن من الطلب إلى الموافقة.

السبب. نسبة موافقة قريبة من 100% قد تكون علامة جيدة، وقد تعني أن المحلل يضغط الزر دون قراءة الأدلة. لهذا ننظر أيضًا إلى ما إذا كانت أزمنة الموافقة متركزة في بضع ثوانٍ.

التعريف. نسبة الحالات التي يتكرر فيها تصنيف الحكم ومستوى الخطورة عند إعادة التشغيل بالمدخلات وإصدار النموذج وإصدار السياسة المحفوظة وقت الحكم. لا نقارن صياغة الجمل، لأننا لا نستطيع ضمان تكرار الجملة نفسها.

القياس. نعيد كل شهر تشغيل عينة من الأحكام السابقة. وقبل تغيير إصدار النموذج أو السياسة نشغّل مجموعة الأحكام السابقة على الإصدار الجديد ونجري مقارنة انحدار لنرى كيف تتغير النتائج.

السبب. الحكم الذي تتغير نتيجته عند إعادة تشغيله كان على الحد الفاصل، ويجب أن يعيد إنسان النظر فيه. وارتفاع التطابق لا يعني أن الحكم صحيح، فتكرار الخطأ نفسه يعطي تطابقًا مرتفعًا أيضًا.

التعريف. ثلاث فترات: من استلام التنبيه إلى إنشاء سجل الحكم، ومن الحكم إلى الموافقة، ومن استلام التنبيه إلى تنفيذ الإجراء.

القياس. نحصي كل الحالات من سجلات النظام، ونعرض الوسيط والشريحة العليا 10% (p90) بدلًا من المتوسط.

السبب. المتوسط تجرّه بضعة تحقيقات طويلة. والحكم السريع لا قيمة له إذا كانت دقته منخفضة، لذلك نضع زمن المعالجة دائمًا في الجدول نفسه مع الدقة.