ماده ۱۵ بر این نکته تأکید دارد که اطمینان از کیفیت فنی و ایمنی در سامانه‌های هوش مصنوعی پرمخاطره، پایه‌ای‌ترین شرط اعتماد عمومی و انطباق قانونی است. این ماده توسعه‌دهندگان را ملزم می‌کند سامانه‌هایی بسازند که دقیق، مقاوم در برابر خطا و ایمن در برابر تهدیدات سایبری باشند، و عملکردشان در شرایط مختلف ثابت بماند. افزون بر آن، باید شاخص‌های دقت و روش‌های اندازه‌گیری آن را به‌روشنی اعلام کنند تا بهره‌برداران بتوانند خروجی‌ها را آگاهانه تفسیر نمایند. در نهایت، این ماده با تمرکز بر جلوگیری از حملات سایبری خاص حوزه هوش مصنوعی، از جمله «آلودگی داده» و «حملات فریب مدل»، نقش حیاتی در پایداری فنی و مسئولیت‌پذیری حقوقی سامانه‌های AI دارد.

ماده قبلی: قانون هوش مصنوعی اتحادیه اروپا - فصل 3؛ ماده 14 – نظارت انسانی
 

ماده ۱۵ – دقت، استحکام و امنیت سایبری

  1. سامانه‌های هوش مصنوعی پرمخاطره باید به‌گونه‌ای طراحی و توسعه یابند که سطح مناسبی از دقت، استحکام و امنیت سایبری را تحقق بخشند و در طول چرخه عمر خود، عملکردی پایدار و یکنواخت از این حیث داشته باشند.
  2. به منظور تعیین جنبه‌های فنی مربوط به اندازه‌گیری سطوح مناسب دقت و استحکام مذکور در بند (۱) و سایر شاخص‌های عملکرد مرتبط، کمیسیون باید با همکاری ذی‌نفعان و نهادهای ذی‌ربط، از جمله مراجع سنجش و نهادهای تعیین معیار (Benchmarking Authorities)، در صورت اقتضا، توسعه معیارها و روش‌های اندازه‌گیری را تشویق و حمایت نماید.
  3. سطوح دقت و شاخص‌های دقت مرتبط با سامانه‌های هوش مصنوعی پرمخاطره باید در دستورالعمل‌های استفاده‌ی همراه سامانه به‌طور شفاف اعلام شوند.
  4. سامانه‌های هوش مصنوعی پرمخاطره باید تا حد امکان در برابر خطاها، نقص‌ها یا ناهماهنگی‌هایی که ممکن است در درون سامانه یا در محیط عملیاتی آن رخ دهند ـ به‌ویژه در نتیجه‌ی تعامل با اشخاص حقیقی یا سایر سامانه‌ها ـ مقاوم باشند. برای این منظور باید تدابیر فنی و سازمانی مناسب اتخاذ شود.
    استحکام سامانه‌های هوش مصنوعی پرمخاطره می‌تواند از طریق راهکارهای فنی افزونگی (Redundancy Solutions) تأمین شود که ممکن است شامل طرح‌های پشتیبان یا ایمنی در حالت خرابی (Fail-Safe Plans) باشد.
    سامانه‌های هوش مصنوعی پرمخاطره‌ای که پس از عرضه در بازار یا بهره‌برداری، همچنان قابلیت یادگیری دارند، باید به نحوی طراحی شوند که ریسک تأثیرگذاری خروجی‌های سوگیرانه بر داده‌های ورودی در عملیات آتی (حلقه‌های بازخوردی) حذف یا تا حد امکان کاهش یابد و هرگونه حلقه بازخوردی از این نوع با اقدامات اصلاحی مناسب کنترل شود.
  5. سامانه‌های هوش مصنوعی پرمخاطره باید در برابر تلاش‌های اشخاص ثالث غیرمجاز برای تغییر کاربری، خروجی‌ها یا عملکرد سامانه از طریق سوء‌استفاده از آسیب‌پذیری‌های آن مقاوم باشند
    راهکارهای فنی مربوط به تضمین امنیت سایبری سامانه‌های هوش مصنوعی پرمخاطره باید متناسب با شرایط و ریسک‌های مرتبط انتخاب شوند. تدابیر فنی برای مقابله با آسیب‌پذیری‌های خاص هوش مصنوعی باید، در صورت اقتضا، شامل اقداماتی برای پیشگیری، شناسایی، واکنش، رفع و کنترل حملاتی باشد که با هدف:
    • دستکاری مجموعه داده‌های آموزشی (Data Poisoning)؛
    • آلوده‌سازی اجزای از پیش آموزش‌دیده (Model Poisoning)؛
    • ارائه داده‌های ورودی با هدف فریب مدل (Adversarial Examples / Model Evasion)؛
    • انجام حملات به محرمانگی یا سوء‌استفاده از نقص‌های مدل (Confidentiality Attacks / Model Flaws)صورت می‌گیرند.
 

 

تحلیل و تفسیر ماده ۱۵ – دقت، استحکام و امنیت سایبری

🔹 هدف کلی ماده

ماده ۱۵ به‌دنبال آن است که کیفیت فنی و ایمنی عملکردی سامانه‌های هوش مصنوعی پرمخاطره تضمین شود. این ماده سه مؤلفه بنیادین را محور قرار می‌دهد:
  1. (Accuracy) – صحت خروجی‌ها و قابلیت اعتماد به نتایج.
  2. (Robustness) – مقاومت در برابر خطا، نقص یا تغییرات ناگهانی.
  3. امنیت سایبری (Cybersecurity) – محافظت در برابر نفوذ، حمله یا دستکاری‌های غیرمجاز.
هدف نهایی، حفظ اعتماد، قابلیت اطمینان، و ایمنی در سامانه‌هایی است که تصمیم‌ها یا خروجی‌های آن‌ها می‌تواند تأثیر قابل توجهی بر حقوق بنیادین، سلامت یا امنیت افراد داشته باشد.
 

🔹 بند ۱ – تعهد به طراحی پایدار و ایمن

در این بند، قانون‌گذار الزام می‌کند که سامانه‌های پرمخاطره باید از ابتدا به‌گونه‌ای طراحی و توسعه یابند که سطح مناسبی از دقت، استحکام و امنیت سایبری را فراهم آورند. این الزام نه‌فقط هنگام طراحی اولیه، بلکه در کل چرخه عمر سامانه (Lifecycle) استمرار دارد. در واقع، تولیدکننده باید تضمین کند که عملکرد سامانه در طول استفاده، کاهش کیفیت یا بروز نوسان در نتایج نداشته باشد.
 

🔹 بند ۲ – تدوین معیارهای سنجش

اینجا کمیسیون اروپا موظف می‌شود تا با همکاری ذی‌نفعان، استانداردها و معیارهای فنی برای اندازه‌گیری دقت و استحکام را ایجاد کند. به‌بیان دیگر، این بند زمینه‌ساز ایجاد شاخص‌ها و بنچمارک‌های اروپایی برای ارزیابی کیفیت سامانه‌های AI است تا از تفسیرهای پراکنده یا ارزیابی‌های غیرهمسان جلوگیری شود.
 

🔹 بند ۳ – شفاف‌سازی دقت سامانه

قانون‌گذار تصریح می‌کند که میزان دقت سامانه و شاخص‌های مربوطه باید در دستورالعمل استفاده (User Instructions) ذکر شود. این شفافیت به بهره‌برداران (Deployers) امکان می‌دهد محدودیت‌ها و قابلیت‌های واقعی سامانه را بشناسند و در تصمیم‌گیری‌های خود از آن آگاهانه استفاده کنند


 

🔹 بند ۴ – استحکام فنی و کنترل خطا

در این بند، ماده بر ضرورت مقاومت سامانه در برابر خطاهای داخلی یا محیطی تأکید دارد. سامانه باید بتواند در مواجهه با ناهنجاری‌ها، تعامل انسانی غیرمنتظره، یا تعامل با سایر سامانه‌ها عملکرد خود را حفظ کند. برای این منظور، قانون‌گذار استفاده از راهکارهای افزونگی فنی (Redundancy) مانند طرح‌های پشتیبان (Backup Plans) یا حالت‌های ایمن در خرابی (Fail-Safe Modes) را الزامی یا توصیه‌شده می‌داند. همچنین برای سامانه‌هایی که پس از عرضه یادگیری مداوم (Continuous Learning) دارند، خطر ایجاد حلقه‌های بازخورد سوگیرانه (Feedback Loops) مورد توجه قرار گرفته و باید با تدابیر فنی کنترلی رفع شود.
 

🔹 بند ۵ – الزامات امنیت سایبری

این بخش ستون اصلی حفاظت دیجیتال ماده است. قانون‌گذار مقرر می‌کند که سامانه باید در برابر تلاش‌های اشخاص ثالث غیرمجاز برای تغییر در عملکرد، خروجی‌ها یا داده‌ها مقاوم باشد. این شامل حملات سایبری خاص حوزه‌ی هوش مصنوعی مانند:
  • آلودگی داده‌های آموزشی (Data Poisoning)؛
  • آلودگی مدل‌های پیش‌آموزش‌دیده (Model Poisoning)؛
  • حملات فریب ورودی (Adversarial Examples / Model Evasion)؛
  • نقض محرمانگی یا آسیب‌پذیری مدل (Confidentiality Attacks / Model Flaws) است.
قانون الزام می‌کند که اقدامات پیشگیری، شناسایی، واکنش و اصلاح (Prevent, Detect, Respond, Resolve, Control) به‌تناسب سطح ریسک در طراحی سامانه لحاظ شود.


جمع‌بندی تحلیلی

ماده ۱۵ در واقع ستون فنی ایمنی قانون هوش مصنوعی اتحادیه اروپا است. در حالی‌که مواد قبلی بر شفافیت، نظارت انسانی و مستندسازی تأکید داشتند، این ماده تضمین می‌کند که زیرساخت فنی سامانه از پایه ایمن، دقیق و مقاوم باشد. به بیان ساده، این ماده می‌گوید : «حتی شفاف‌ترین یا قانون‌مندترین سامانه، بدون دقت فنی و امنیت سایبری، نمی‌تواند قابل اعتماد باشد.» بنابراین، این ماده از منظر سیاست‌گذاری، پلی میان اخلاق، قانون و مهندسی سیستم‌های هوش مصنوعی محسوب می‌شود و مسئولیت‌های مشخصی برای توسعه‌دهندگان، تولیدکنندگان و ارزیابان انطباق ایجاد می‌کند.

منبع: تهیه شده در واحد فناوری های نوین راسخون