ماده ۹ – نظام مدیریت ریسک
۱. در خصوص سامانههای هوش مصنوعی پرریسک، یک نظام مدیریت ریسک باید ایجاد، اجرا، مستندسازی و نگهداری گردد.۲. نظام مدیریت ریسک باید بهعنوان فرآیندی مستمر و تکرارشونده درک شود که برای کل چرخه عمر سامانه هوش مصنوعی پرریسک برنامهریزی و اجرا میگردد و مستلزم بازبینی و بهروزرسانی منظم و نظاممند است. این نظام باید شامل مراحل زیر باشد:
(الف) شناسایی و تحلیل خطرات شناختهشده و معقولاً قابل پیشبینی که سامانه هوش مصنوعی پرریسک ممکن است در هنگام استفاده مطابق با هدف موردنظر، متوجه سلامت، ایمنی یا حقوق بنیادین نماید؛
(ب) برآورد و ارزیابی خطراتی که ممکن است در هنگام استفاده مطابق با هدف موردنظر و در شرایط سوءاستفاده معقولاً قابل پیشبینی بروز نماید؛
(پ) ارزیابی سایر خطرات احتمالی که مبتنی بر تحلیل دادههای گردآوریشده از نظام پایش پس از عرضه به بازار موضوع ماده ۷۲ است؛
(ت) اتخاذ تدابیر مدیریت ریسک مناسب و هدفمند که برای مواجهه با خطرات شناساییشده وفق جزء (الف) طراحی شدهاند.

۳. خطرات مورد اشاره در این ماده صرفاً باید ناظر بر آن دسته از خطراتی باشند که میتوان معقولاً از طریق توسعه یا طراحی سامانه هوش مصنوعی پرریسک، یا از طریق ارائه اطلاعات فنی کافی، نسبت به کاهش یا رفع آنها اقدام نمود.
۴. تدابیر مدیریت ریسک مذکور در بند ۲، جزء (ت)، باید با لحاظ آثار و تعاملات احتمالی ناشی از کاربرد همزمان الزامات مقرر در این بخش انجام گیرد، با هدف کاهش مؤثرتر خطرات و تحقق توازن مناسب در اجرای تدابیر لازم جهت ایفای آن الزامات.
۵. تدابیر مدیریت ریسک مذکور در بند ۲، جزء (ت)، باید بهگونهای باشند که خطر باقیمانده مرتبط با هر یک از مخاطرات، و نیز خطر باقیمانده کلی سامانه هوش مصنوعی پرریسک، قابل پذیرش تشخیص داده شود. در تعیین مناسبترین تدابیر مدیریت ریسک، موارد زیر باید تضمین گردد:
(الف) حذف یا کاهش خطرات شناسایی و ارزیابیشده طبق بند ۲، تا حد امکان از حیث فنی، از طریق طراحی و توسعه مناسب سامانه هوش مصنوعی پرریسک؛
(ب) در صورت اقتضاء، اجرای تدابیر مناسب برای کاهش و کنترل خطراتی که قابل حذف نیستند؛
(پ) ارائه اطلاعات موردنیاز مطابق ماده ۱۳ و، در صورت لزوم، ارائه آموزش به بهرهبرداران. در راستای حذف یا کاهش خطرات مرتبط با استفاده از سامانه هوش مصنوعی پرریسک، باید به دانش فنی، تجربه، آموزش مورد انتظار بهرهبردار و زمینه فرضی استفاده از سامانه، توجه مقتضی مبذول گردد.
۶. سامانههای هوش مصنوعی پرریسک باید مورد آزمون قرار گیرند تا مناسبترین و هدفمندترین تدابیر مدیریت ریسک شناسایی شوند. آزمون باید اطمینان حاصل نماید که سامانههای هوش مصنوعی پرریسک برای هدف موردنظر خود بهطور یکسان عمل میکنند و با الزامات مقرر در این بخش انطباق دارند.
۷. رویههای آزمون میتوانند شامل آزمون در شرایط واقعی، طبق ماده ۶۰، نیز باشند.
۸. آزمون سامانههای هوش مصنوعی پرریسک باید حسب مورد، در هر مقطعی از فرآیند توسعه و در هر حال، پیش از عرضه به بازار یا بهرهبرداری انجام گیرد. آزمون باید بر اساس معیارها و آستانههای احتمالاتی از پیش تعریفشده، متناسب با هدف موردنظر سامانه هوش مصنوعی پرریسک، صورت پذیرد.
۹. در هنگام اجرای نظام مدیریت ریسک طبق بندهای ۱ تا ۷، ارائهدهندگان باید در نظر گیرند که با توجه به هدف موردنظر، آیا سامانه هوش مصنوعی پرریسک احتمال دارد آثار نامطلوبی بر اشخاص زیر ۱۸ سال و، عندالاقتضاء، سایر گروههای آسیبپذیر داشته باشد یا خیر.
۱۰. برای ارائهدهندگانی که به موجب سایر مقررات اتحادیه، مشمول الزامات مربوط به فرآیندهای مدیریت ریسک داخلی هستند، عناصر مندرج در بندهای ۱ تا ۹ میتوانند جزئی از همان رویهها بوده یا با آنها ادغام شوند.

خلاصه تفسیری و تحلیلی از ماده ۹ – نظام مدیریت ریسک
ماده ۹ یکی از هستههای اصلی الزامات حاکم بر سامانههای هوش مصنوعی پرریسک است و نقش آن تضمین پیشگیری ساختاری از آسیبهای احتمالی بر سلامت، ایمنی و حقوق بنیادین انسانهاست. این ماده تأکید میکند که مدیریت ریسک در هوش مصنوعی صرفاً یک مرحله فنی نیست، بلکه فرآیندی حقوقی، اخلاقی و مستمر است که باید در کل چرخه عمر سامانه—از طراحی تا بهرهبرداری و نظارت پس از بازار—ادغام شود.
طبق این ماده، ارائهدهندگان ملزماند:
یک نظام مدیریت ریسک رسمی، مستند و دائماً بهروز ایجاد کنند؛
خطرات قابل پیشبینی و سوءاستفاده معقول از سامانه را شناسایی و ارزیابی نمایند؛
نهتنها خطرات تکنیکی، بلکه آثار بالقوه بر حقوق بشر و گروههای آسیبپذیر، مانند کودکان، را در نظر گیرند؛
از آزمون و ارزیابی مداوم سامانه (حتی در شرایط واقعی) برای تضمین عملکرد ایمن استفاده کنند؛
تنها پس از رسیدن به «سطح قابل قبول خطر باقیمانده» اجازه عرضه یا بهرهبرداری از سامانه را داشته باشند.
نکته کلیدی این ماده در این است که مسئولیت پیشگیرانه (Preventive Liability) را بر دوش ارائهدهنده میگذارد، نه صرفاً واکنش پس از وقوع آسیب. ماده ۹ همچنین اجازه میدهد که اگر ارائهدهنده تحت قوانین دیگر اتحادیه اروپا (مثل مقررات تجهیزات پزشکی یا ایمنی ماشینآلات) دارای نظام مدیریت ریسک باشد، آن را با الزامات این مقرره ادغام کند، مشروط بر اینکه حقوق بنیادین محفوظ بماند.
منبع: تهیه شده در واحد فناوری های نوین راسخون