قانون هوش مصنوعی اتحادیه اروپا - فصل 3؛ ماده 14 – نظارت انسانی

ماده ۱۴ قانون هوش مصنوعی اروپا تأکید دارد که سیستم‌های هوش مصنوعی پرخطر باید همیشه تحت نظارت مؤثر انسان باشند تا از بروز خطر برای سلامت، ایمنی یا حقوق بنیادین جلوگیری شود و انسان بتواند در هر زمان عملکرد سیستم را درک، اصلاح یا متوقف کند.

شنبه، 3 آبان 1404

تخمین زمان مطالعه:

نویسنده : تحریریه راسخون

موارد بیشتر برای شما

این ماده تضمین می‌کند که کنترل و مسئولیت نهایی تصمیمات سیستم‌های هوش مصنوعی پرخطر در دست انسان باقی بماند. قانون‌گذار اروپا بر این باور است که حتی پیشرفته‌ترین الگوریتم‌ها ممکن است دچار خطا، سوگیری یا سوء‌استفاده شوند، بنابراین باید هم در طراحی سیستم (توسط توسعه‌دهنده) و هم در مرحله استفاده (توسط بهره‌بردار)، ابزارها و رویه‌هایی برای نظارت انسانی پیش‌بینی شود. انسان ناظر باید بتواند عملکرد سیستم را درک کند، خروجی آن را ارزیابی نماید، در صورت بروز خطا مداخله کند و حتی در صورت لزوم سیستم را متوقف سازد. این ماده در واقع از اصل بنیادین «انسان در مرکز تصمیم‌گیری» (Human-in-the-loop) دفاع می‌کند.

ماده قبلی: قانون هوش مصنوعی اتحادیه اروپا - فصل 3؛ ماده 13 – شفافیت و ارائه اطلاعات به بهره‌برداران

ماده ۱۴ – نظارت انسانی

1. سامانه‌های هوش مصنوعی با ریسک بالا باید به نحوی طراحی و توسعه یابند، از جمله از طریق ابزارهای مناسب رابط انسان و ماشین، که امکان نظارت مؤثر توسط اشخاص حقیقی در دوره‌ای که مورد استفاده قرار می‌گیرند، فراهم گردد.

2. هدف از نظارت انسانی آن است که از بروز یا تشدید خطرات نسبت به سلامت، ایمنی یا حقوق بنیادین افراد جلوگیری کرده یا آن را به حداقل برساند؛ خطراتی که ممکن است در نتیجه استفاده از سامانه هوش مصنوعی با ریسک بالا مطابق با هدف مورد نظر یا در شرایط استفاده‌ی قابل پیش‌بینی ولی نادرست ایجاد شوند، به‌ویژه در مواردی که چنین خطراتی علیرغم اجرای سایر الزامات مقرر در این بخش، همچنان باقی می‌مانند

3. تدابیر نظارتی باید متناسب با سطح خطر، میزان خودکار بودن و زمینه استفاده از سامانه هوش مصنوعی با ریسک بالا باشند و از طریق یکی یا هر دو مورد از تدابیر زیر تضمین گردند:

(الف) تدابیری که ارائه‌دهنده سامانه، در صورت امکان فنی، پیش از عرضه به بازار یا بهره‌برداری، در خود سامانه هوش مصنوعی با ریسک بالا تعبیه می‌کند؛

(ب) تدابیری که ارائه‌دهنده سامانه پیش از عرضه به بازار یا بهره‌برداری شناسایی کرده و برای اجرا توسط بهره‌بردار مناسب تشخیص می‌دهد.

4. به‌منظور اجرای بندهای ۱، ۲ و ۳، سامانه هوش مصنوعی با ریسک بالا باید به گونه‌ای در اختیار بهره‌بردار قرار گیرد که اشخاص حقیقی مسئول نظارت انسانی بتوانند، به‌طور مناسب و متناسب با شرایط:

(الف) ظرفیت‌ها و محدودیت‌های مربوط به سامانه هوش مصنوعی با ریسک بالا را به درستی درک کرده و قادر به پایش عملکرد آن باشند، از جمله برای شناسایی و رفع ناهنجاری‌ها، نقص‌های عملکرد یا نتایج غیرمنتظره؛

(ب) از امکان تمایل به اتکا کردن خودکار به یا اتکای بیش‌ازحد بر خروجی سامانه هوش مصنوعی با ریسک بالا (سوگیری خودکار یا automation bias ) آگاه باشد و بماند، به‌ویژه در مورد سامانه‌هایی که برای ارائه اطلاعات یا توصیه در خصوص تصمیمات انسانی طراحی شده‌اند؛

(ج) خروجی سامانه هوش مصنوعی با ریسک بالا را با در نظر گرفتن ابزارها و روش‌های تفسیر موجود، به‌درستی تفسیر نمایند؛

(د) در هر وضعیت خاص، تصمیم بگیرند از سامانه هوش مصنوعی با ریسک بالا استفاده نکنند یا خروجی آن را نادیده گرفته، لغو یا معکوس نمایند؛

(هـ) بتوانند در فرآیند عملکرد سامانه هوش مصنوعی با ریسک بالا مداخله کرده یا با استفاده از دکمه توقف یا رویه مشابه، سامانه را در حالت ایمن متوقف کنند.

در مورد سامانه‌های هوش مصنوعی با ریسک بالا که در بند ۱(الف) از ضمیمه سوم (Annex III) ذکر شده‌اند، تدابیر مذکور در بند ۳ این ماده باید به گونه‌ای باشند که علاوه بر موارد فوق، هیچ اقدام یا تصمیمی از سوی بهره‌بردار بر مبنای شناسایی حاصل از سامانه اتخاذ نشود، مگر آن‌که آن شناسایی به‌طور جداگانه توسط حداقل دو شخص حقیقی واجد صلاحیت، آموزش‌دیده و دارای اختیار لازم، تأیید و تصدیق شده باشد
.
الزام به تأیید جداگانه توسط حداقل دو شخص حقیقی در خصوص سامانه‌های هوش مصنوعی با ریسک بالا که برای مقاصد اجرای قانون، مهاجرت، کنترل مرزها یا امور پناهندگی به کار گرفته می‌شوند، در صورتی که قانون اتحادیه یا قانون ملی اعمال این الزام را نامتناسب تشخیص دهد، قابل اعمال نخواهد بود.

تحلیلی بر ماده 14: نظارت انسانی

بند ۱

متن:
سیستم‌های هوش مصنوعی پرخطر باید به گونه‌ای طراحی و توسعه یابند که از طریق ابزارهای مناسب تعامل انسان و ماشین، بتوان آن‌ها را به‌طور مؤثر توسط اشخاص انسانی در دوره استفاده کنترل و نظارت کرد.

تحلیل و تفسیر:
این بند بر ضرورت نظارت انسانی مؤثر بر عملکرد هوش مصنوعی تأکید دارد. قانون‌گذار می‌گوید حتی اگر سیستم خودکار باشد، باید همیشه راهی برای دخالت انسان وجود داشته باشد. به بیان ساده، تصمیمات و عملکردهای سیستم نباید کاملاً از کنترل انسان خارج شود. طراحی رابط کاربری (human-machine interface) باید به نحوی باشد که انسان بتواند عملکرد سیستم را درک و کنترل کند.

🟩 بند ۲

متن:
هدف از نظارت انسانی، جلوگیری یا به حداقل رساندن خطراتی است که ممکن است برای سلامت، ایمنی یا حقوق بنیادین افراد ایجاد شود، چه در شرایط استفاده عادی و چه در شرایط سوءاستفاده قابل پیش‌بینی، به‌ویژه در مواردی که این خطرات علی‌رغم رعایت سایر الزامات همچنان وجود دارند.

تحلیل و تفسیر:
در این بند قانون مشخص می‌کند که فلسفه وجودی نظارت انسانی چیست: انسان باید نقش بازدارنده داشته باشد تا اگر سیستم رفتار خطرناکی نشان داد (مثلاً تصمیم تبعیض‌آمیز یا اشتباه فنی)، بتواند مداخله کند. حتی اگر سایر تدابیر ایمنی برقرار باشد، باز هم عنصر انسانی باید آخرین خط دفاع در برابر آسیب به انسان‌ها باشد.

🟩 بند ۳

متن:
میزان و نوع اقدامات نظارت انسانی باید متناسب با سطح خطر، میزان خودکار بودن و زمینه استفاده از سیستم باشد و می‌تواند شامل یکی یا هر دو مورد زیر باشد:
(a) اقداماتی که توسط ارائه‌دهنده سیستم از ابتدا در طراحی گنجانده شده است.

(b) اقداماتی که ارائه‌دهنده مشخص کرده و بهره‌بردار (deployer) باید در هنگام استفاده اجرا کند
.
تحلیل و تفسیر:
اینجا قانون تعیین می‌کند که چه کسی مسئول طراحی و اجرای کنترل انسانی است. در حالت (a) سازنده سیستم باید از ابتدا ابزارهای نظارت انسانی را در نرم‌افزار یا سخت‌افزار تعبیه کند. در حالت (b) بهره‌بردار وظیفه دارد این نظارت را هنگام استفاده اعمال کند (مثلاً آموزش اپراتور، کنترل قبل از تصمیم‌گیری و غیره). بنابراین، مسئولیت نظارت بین توسعه‌دهنده و استفاده‌کننده تقسیم می‌شود.

🟩 بند ۴

متن:
سیستم باید طوری در اختیار بهره‌بردار قرار گیرد که افراد مسئول نظارت انسانی بتوانند:
(a) قابلیت‌ها و محدودیت‌های سیستم را درک کنند و عملکردش را رصد کنند.
(b) از تمایل خودکار به اتکا بیش از حد به خروجی سیستم (خطای اتوماسیون) آگاه باشند.
(c) خروجی سیستم را درست تفسیر کنند.
(d) در شرایط لازم تصمیم بگیرند از سیستم استفاده نکنند یا خروجی آن را نادیده بگیرند یا برعکس کنند.
(e) بتوانند با استفاده از دکمه توقف یا روش مشابه، عملکرد سیستم را در حالت امن متوقف کنند.

تحلیل و تفسیر:
این بند دقیقاً مشخص می‌کند انسانِ ناظر باید چه توانایی‌هایی داشته باشد. او باید آموزش‌دیده باشد، عملکرد سیستم را بفهمد، بتواند خروجی‌ها را تحلیل کند و در صورت نیاز مداخله یا توقف سیستم را انجام دهد. نکته مهم در (b) هشدار درباره پدیده‌ی «اعتماد بیش از حد به هوش مصنوعی» است — یعنی انسان نباید هر خروجی سیستم را بی‌چون‌وچرا بپذیرد.

🟩 بند ۵

متن:
در سیستم‌های پرخطری که برای شناسایی افراد (مثلاً تشخیص چهره) استفاده می‌شوند، قانون می‌گوید هیچ تصمیم یا اقدامی نباید صرفاً بر اساس نتیجه‌ی سیستم انجام شود، مگر آنکه حداقل دو انسان واجد صلاحیت نتیجه را به‌صورت جداگانه بررسی و تأیید کرده باشند. اما برای کاربردهای خاص مانند پلیس، مهاجرت، کنترل مرز یا پناهندگی، اگر قوانین ملی یا اتحادیه این الزام را نامتناسب بدانند، ممکن است از آن صرف‌نظر شود.

تحلیل و تفسیر:
اینجا قانون‌گذار به حساس‌ترین کاربرد هوش مصنوعی یعنی شناسایی افراد اشاره دارد.
او می‌گوید تصمیماتی که بر مبنای شناسایی (مثلاً تشخیص چهره یا تطبیق هویت) گرفته می‌شوند، باید دوباره توسط انسان تأیید شوند تا از اشتباهات خطرناک جلوگیری شود.
استثنا برای نیروهای انتظامی و امنیتی پیش‌بینی شده است، چون در آنجا سرعت و ضرورت اقدام می‌تواند بیشتر از نیاز به تأیید دو نفر باشد

🟦 جمع‌بندی کلی ماده ۱۴

ماده ۱۴ به‌طور کلی تضمین می‌کند که انسان همیشه در حلقه تصمیم‌گیری باقی بماند. این ماده می‌خواهد از تبدیل هوش مصنوعی به «سیستم خودمختار بدون مسئولیت‌پذیری انسانی» جلوگیری کند. قانون‌گذار به‌دنبال این است که حتی در پیشرفته‌ترین سامانه‌های هوش مصنوعی پرخطر، انسان همچنان ناظر نهایی، تصمیم‌گیر و ضامن اخلاقی و قانونی باشد.

منبع: تهیه شده در واحد فناوری های نوین راسخون

ارسال نظر

با تشکر، نظر شما پس از بررسی و تایید در سایت قرار خواهد گرفت.

متاسفانه در برقراری ارتباط خطایی رخ داده. لطفاً دوباره تلاش کنید.