كيف تحدد نطاق تقييم حوكمة الذكاء الاصطناعي وأمنه؟

قبل طلب تقييم لنظام ذكاء اصطناعي، حدّد القرار الذي تريد اتخاذه بناءً على نتائجه. هل تدرس إطلاق مساعد داخلي للموظفين، أم توسيع استخدام نظام قائم ليشمل بيانات العملاء، أم منح وكيل ذكي صلاحية تحديث السجلات؟ اكتب الغرض من الاستخدام، والفئات التي قد تتأثر به، والإجراءات المسموح للنظام بتنفيذها. ثم اجعل هذا الوصف أساساً للاتفاق على نطاق التقييم والأدلة المطلوبة. عند إعداد طلب عرض، ابدأ بهذه الأسئلة قبل مناقشة عدد الاختبارات أو شكل التقرير.

ابدأ بحالة استخدام محددة

اختر حالة استخدام واضحة وسمِّ المسؤول عنها داخل الجهة. بيّن ما إذا كان النظام نموذجاً أولياً أو تجربة محدودة أو خدمة قيد التشغيل. دوّن التطبيق والنموذج ومصادر البيانات والأدوات المتصلة به، بما فيها المكونات التي يوفرها طرف خارجي. وارسم مسار الطلب من إدخال المستخدم حتى الإجابة أو الإجراء النهائي، مع تحديد مواضع تدخل الموظف أو اعتماده للقرار.

حدّد البيئات والإصدارات المشمولة، ثم اذكر ما يقع خارج النطاق، مثل النموذج الأساسي لدى المورّد أو تكامل لا تتاح بيئته للاختبار. اسأل كيف تؤثر هذه الاستثناءات في الاستنتاجات الممكنة. وإذا كانت الخدمة تُستخدم في عدة إدارات أو فروع داخل المملكة، فحدّد الإدارات والفئات المشمولة بالتقييم. أدرج العربية والإنجليزية عندما تكونان ضمن الاستخدام الفعلي، واتفق على من يراجع أمثلة الاختبار في كل لغة.

ميّز بين مراجعة الحوكمة والاختبارات الأمنية

عند صياغة موجز العمل، يمكنك تنظيم التقييم في مسارين مترابطين، مع تحديد الأسئلة والأدلة الخاصة بكل مسار.

في مراجعة الحوكمة، اسأل من يعتمد حالة الاستخدام، وكيف تُوثّق المخاطر، ومتى تلزم المراجعة البشرية، ومن يتعامل مع الحوادث والتغييرات. اطلب السجلات اللازمة لفحص هذه الأسئلة، مثل توزيع المسؤوليات ومعايير الاعتماد وإجراءات التصعيد. وضّح أيضاً الشخص الذي يستطيع شرح سبب اتخاذ قرار سابق، وكيف يمكن الرجوع إلى سجله.

وفي الاختبارات الأمنية، حدّد السلوك التقني المراد فحصه ضمن ظروف متفق عليها: هل تُطبّق حدود الوصول؟ كيف يتعامل التطبيق مع مدخلات عدائية؟ وهل تستطيع الأدوات المتصلة تجاوز صلاحياتها المقصودة؟ اتفق على بيئة الاختبار والأنشطة المسموح بها والأدلة المتوقعة لكل سؤال.

ينظّم إطار NIST لإدارة مخاطر الذكاء الاصطناعي، الإصدار 1.0، العمل في أربع وظائف: الحوكمة (Govern)، وتحديد السياق (Map)، والقياس (Measure)، والإدارة (Manage). يمكن الاستعانة بهذه الوظائف لتنظيم نقاش اختيار أسئلة التقييم. إطار NIST لإدارة مخاطر الذكاء الاصطناعي

اختر سيناريوهات مرتبطة بالاستخدام الفعلي

ابدأ بالمهام التي سينفذها المستخدمون. بالنسبة إلى مساعد للوثائق، اسأل عن صلاحيات الوصول إلى المستندات، ودقة الإجابات، وكيفية التعامل مع محتوى مسترجع من خارج الجهة. وبالنسبة إلى وكيل ينفّذ إجراءات، أضف الأدوات التي يستطيع تشغيلها والموافقات اللازمة قبل التنفيذ. اطلب من أصحاب العملية وصف نتيجة غير مقبولة لكل سيناريو، ثم اتفق على الطريقة المناسبة لفحصها.

تصف OWASP حقن التعليمات بأنه مدخلات تغيّر سلوك النموذج اللغوي على نحو غير مقصود، وقد يصل الحقن غير المباشر عبر محتوى خارجي مثل الملفات والمواقع. تحقّق مما إذا كانت هذه المسارات موجودة في نظامك. OWASP: حقن التعليمات

وتحدّد OWASP الوظائف والصلاحيات والاستقلالية الزائدة ضمن أسباب منح الأنظمة الوكيلة قدرة مفرطة على التصرف. إذا كان النظام يستخدم أدوات، فأدرج أسئلة عن الصلاحيات الممنوحة لكل اتصال. OWASP: القدرة المفرطة على التصرف

اتفق على الأدلة وحدود التنفيذ

راجع النقاط التالية مع فرق الأعمال والتقنية والأمن السيبراني قبل اعتماد النطاق:

• المسؤوليات: من يشرح مسار العمل، ومن يعتمد الاختبار، ومن يتخذ القرار بعد مراجعة النتائج؟
• الوصول: ما البيئات والحسابات والأدوار والتكاملات التي ستتاح للفريق القائم بالتقييم؟
• البيانات: ما البيانات الاصطناعية أو المعتمدة للاختبار، وكيف ستُحفظ أدلة الفحص وتُزال؟
• التغطية: ما السيناريوهات واللغات وفئات المستخدمين المشمولة، وما الاستثناءات المتفق عليها؟
• ضبط الاختبار: ما الأنشطة المسموح بها، ومتى يجب إيقاف الاختبار، ومن جهة التواصل عند التصعيد؟
• النتائج: ما الدليل المطلوب لكل ملاحظة، وكيف سيُشرح أثرها وحدود اليقين فيها؟
• المتابعة: من يتولى معالجة كل ملاحظة، وما التغيير الذي يستدعي إعادة الاختبار أو التقييم؟

اطلب التمييز بين ما لوحظ أثناء الاختبار، وما تبيّن من مراجعة المستندات، وما بقي افتراضاً. واتفق على طريقة توثيق الأدلة غير المتاحة. لا تسجّل جانباً لم يُختبر باعتباره نتيجة ناجحة، واطلب بيان الأسئلة التي تعذرت الإجابة عنها وأسباب ذلك.

مثال توضيحي لورقة تحديد النطاق

مثال توضيحي للتخطيط. عدّل هذه البنود بما يناسب نطاق التقييم لديك.

عدّل هذه الورقة مع المسؤولين عن الخدمة والبيانات والأمن، وسجّل الأسئلة المفتوحة قبل طلب العرض. استخدم نطاقاً واحداً عند مقارنة العروض، واطلب توضيح الاستنتاجات التي يمكن لكل تقييم دعمها، وما يحتاج إلى عمل إضافي. دوّن أي تعديل لاحق على النطاق، ومن اعتمده، وكيف يغيّر الأسئلة أو الأدلة المتفق عليها.

لإعداد أسئلة النقاش، اطّلع على حوكمة الذكاء الاصطناعي، وأمن الذكاء الاصطناعي، واختبار الاختراق.