قِسنا المحرك المنشور على 305 حالة اختبار عربية تغطي اللهجات الأربع الكبرى وجميع الفئات الأساسية الـ24 ضمن تصنيف المحرك المكوّن من 29 فئة، بتوازن بين المخالفات الحقيقية والحالات السليمة (بما فيها 50 «سلبية صعبة» تبدو مخالِفة وليست كذلك). كل رقم أدناه مأخوذ حرفياً من مخرجات التشغيل — لا تقريب لأعلى ولا انتقاء.
205 مخالفة صحيحة مكتشفة · صفر مخالفة فائتة · سلبية كاذبة واحدة من 95 حالة سليمة · صفر حالات فشل-آمن مستبعَدة.
305 حالة إجمالاً؛ يُقاس منها 300 في الأرقام الرئيسية (5 حالات «عربيزي» مكتوبة بالحروف اللاتينية تُقاس كتغطية منفصلة، لا ضمن العناوين).
| اللهجة | TP | FN | FP | TN | الاسترجاع | الدقة |
|---|---|---|---|---|---|---|
| الفصحى | 26 | 0 | 0 | 41 | 1.000 | 1.000 |
| الخليجية | 39 | 0 | 0 | 11 | 1.000 | 1.000 |
| المصرية | 27 | 0 | 1 | 12 | 1.000 | 0.964 |
| الشامية | 17 | 0 | 0 | 11 | 1.000 | 1.000 |
حالات مُصاغة يدوياً بنص عربي طبيعي لكل لهجة، بأرقام هوية وحسابات ذات بنية صحيحة قابلة للكشف. لكل حالة فئة تنظيمية ولهجة ودولة وقرار متوقع.
السلبيات الصعبة نصوص تذكر موضوعاً حساساً في سياق مشروع: بطاقة مُقنَّعة بآخر أربعة أرقام، شرح صيغة رقم الهوية في تدريب، بيانات طبية مجمّعة دون تعريف مريض، تذكير سداد مهذّب، رفض العميل مشاركة هويته، تنفيذ طلب حذف بيانات.
تشغيل واحد كامل على المحرك المنشور فعلياً (Claude Haiku 4.5، الوضع الكامل). العربية تُرقّى تلقائياً إلى الوضع الكامل — تأكدنا من ذلك في 12/12 عينة.
الاسترجاع = المخالفات المكتشفة ÷ إجمالي المخالفات. الدقة = المخالفات الصحيحة ÷ كل ما وُسم مخالفة. فترات الثقة بطريقة Wilson عند 95%. أحداث الفشل-الآمن تُعاد مرة ثم تُستبعد — لم يقع أيٌّ منها هنا.
زمن الاستجابة: الوسيط 5.4 ثانية · المئين 95 عند 9.8 ثانية.
كل فئة أساسية حققت استرجاعاً 1.000 (لا مخالفات فائتة). الدقة 1.000 في كل الفئات عدا بيانات بطاقات الدفع.
| الفئة | n | TP/FN/FP/TN | الاسترجاع | الدقة |
|---|
بيانات بطاقات الدفع: الدقة 0.857 (خطأ إيجابي واحد من 10). المحرك وسَم بطاقة مُقنَّعة تُظهر آخر أربعة أرقام فقط بالأرقام العربية الشرقية (****٠٩٨٧) كمخالفة. لا مخالفات فائتة في هذه الفئة. نعمل على تحسين كشف الإخفاء بالأرقام الشرقية.
تصنيف المحرك يضم 29 فئة: الـ24 الأساسية المُختبَرة أعلاه، وخمس فئات سلوكية موسّعة يكتشفها المحرك لكنها لم تُقسَّم بحالات مخصّصة في هذا التقييم بعد — تُضاف في النسخة القادمة:
AML_STRUCTURING · KYC_BYPASS · UNAUTHORIZED_FINANCIAL_ACTION · UNAUTHORIZED_DISCLOSURE · UNSOLICITED_MARKETING
الحالات مُصاغة لتغطية الفئات واللهجات، لا سجلّات إنتاج حقيقية. تقيس قدرة الكشف على أنماط ممثِّلة، لا توزيع حركة عميل بعينه.
الشامية أقل تمثيلاً (28 حالة) من الفصحى (67). توجيه الدولة في المحرك يغطي الخليج ومصر؛ نصوص بلاد الشام تُوجَّه احتياطياً إلى السعودية/مصر.
الأرقام من تشغيل كامل واحد؛ فترات الثقة تعكس حجم العيّنة. مخرجات النموذج اللغوي تتذبذب قليلاً بين التشغيلات (±بضع نقاط) كما هو موثّق في خط الأساس السابق.
سلبية كاذبة واحدة (بطاقة مُقنَّعة بأرقام شرقية). صفر مخالفة فائتة. لا نُخفي أو نُقرّب أياً من ذلك.
نشارك المنهجية الكاملة وملف النتائج مع العملاء والمقيّمين المحتملين.
اطلب المنهجية الكاملة