ملاحظه مقدماتی سی‌ویکم استفاده از سامانه‌های هوش مصنوعی برای امتیازدهی اجتماعی به اشخاص را ممنوع می‌داند، زیرا این سامانه‌ها می‌توانند با تجمیع داده‌های رفتاری و شخصیتی، افراد را به نمره‌های اجتماعی فروبکاهند و زمینه تبعیض، طرد و رفتار نامطلوب با آنان را فراهم کنند. قانون‌گذار به‌ویژه با استفاده از داده‌های گردآوری‌شده در یک زمینه برای تصمیم‌گیری در زمینه‌ای دیگر و نیز با تحمیل پیامدهای نامتناسب و ناموجه مخالف است. این ملاحظه از کرامت، برابری و عدالت در برابر منطق رتبه‌بندی الگوریتمی دفاع می‌کند، هرچند ارزیابی‌های قانونی، محدود و هدفمند را همچنان مجاز می‌شمارد.  

قانون هوش مصنوعی اروپا: متن ملاحظه 31

«سامانه‌های هوش مصنوعی که توسط بازیگران عمومی یا خصوصی برای امتیازدهی اجتماعی (social scoring) به اشخاص حقیقی به کار می‌روند، ممکن است به نتایج تبعیض‌آمیز و حذف برخی گروه‌ها بینجامند. این سامانه‌ها ممکن است حق بر کرامت و عدم تبعیض و نیز ارزش‌های برابری و عدالت را نقض کنند. چنین سامانه‌های هوش مصنوعی، اشخاص حقیقی یا گروه‌هایی از آنان را بر پایه نقاط داده متعدد مرتبط با رفتار اجتماعی آنان در زمینه‌های مختلف، یا بر اساس ویژگی‌های شخصی یا شخصیتیِ معلوم، استنباط‌شده یا پیش‌بینی‌شده در بازه‌های زمانی معین، ارزیابی یا طبقه‌بندی می‌کنند. امتیاز اجتماعی حاصل از این سامانه‌ها ممکن است به رفتار زیان‌بار یا نامطلوب با اشخاص حقیقی یا حتی کل گروه‌هایی از آنان در زمینه‌های اجتماعی‌ای منجر شود که با زمینه‌ای که داده‌ها در آن ابتدا تولید یا گردآوری شده‌اند بی‌ارتباط است، یا به رفتاری زیان‌بار منتهی شود که نسبت به شدت رفتار اجتماعی آنان نامتناسب یا ناموجه است. از این رو، سامانه‌های هوش مصنوعی که متضمن چنین رویه‌های غیرقابل‌قبول امتیازدهی‌اند و به چنین نتایج زیان‌بار یا نامطلوبی منجر می‌شوند، باید ممنوع شوند. این ممنوعیت نباید بر رویه‌های قانونی ارزیابی اشخاص حقیقی که برای هدفی مشخص و مطابق حقوق اتحادیه و حقوق ملی انجام می‌شوند، تأثیر بگذارد.»
 

تحلیل ملاحظه 31

این ملاحظه یکی از صریح‌ترین مواضع قانون هوش مصنوعی اتحادیه اروپا علیه «رتبه‌بندی انسان» به‌مثابه ابزار حکمرانی است. قانون‌گذار در اینجا با نوعی از کاربرد هوش مصنوعی مواجه است که در آن انسان نه به‌عنوان صاحب حق، بلکه به‌عنوان موضوع امتیازدهی، رتبه‌بندی و ارزش‌گذاری اجتماعی دیده می‌شود. مسئله اصلی این ملاحظه، صرفاً ارزیابی افراد نیست، بلکه تبدیل انسان به «نمره اجتماعی» و سپس استفاده از آن نمره برای توزیع فرصت، محرومیت یا طرد است.

نخستین نکته مهم این ملاحظه، تمرکز بر پیامد ساختاری «امتیازدهی اجتماعی» است. قانون‌گذار تصریح می‌کند که چنین سامانه‌هایی می‌توانند به تبعیض و حذف اجتماعی منجر شوند. این نکته نشان می‌دهد که خطر این سامانه‌ها صرفاً در خطای آماری یا سوگیری الگوریتمی خلاصه نمی‌شود، بلکه در نقش ساختاری آن‌ها در بازتولید نابرابری، برچسب‌زنی و طرد اجتماعی است.
دومین نکته محوری، تعریف نسبتاً دقیق social scoring در این ملاحظه است. قانون‌گذار توضیح می‌دهد که مسئله صرفاً یک ارزیابی ساده یا محدود نیست؛ بلکه تجمیع داده‌های متعدد درباره رفتار اجتماعی افراد در زمینه‌های مختلف، همراه با ویژگی‌های شخصیِ معلوم، استنباط‌شده یا پیش‌بینی‌شده، برای ساختن یک «امتیاز اجتماعی» کلی است. این یعنی قانون‌گذار با یک منطق امتیازدهی جامع و پروفایل‌ساز مواجه است، نه صرفاً با یک ارزیابی موردی.


سومین نکته مهم، یکی از خطرناک‌ترین عناصر social scoring از نگاه قانون‌گذار «انتقال زمینه» (context transfer) است. یعنی داده‌ای که در یک زمینه خاص تولید شده، بعداً در زمینه‌ای دیگر برای ارزیابی یا محروم‌سازی فرد استفاده شود. برای مثال، رفتاری که در یک زمینه اجتماعی خاص ثبت شده، بعداً مبنای تصمیم در حوزه‌ای کاملاً متفاوت قرار گیرد. قانون‌گذار این جابه‌جایی داده میان زمینه‌های نامرتبط را از مهم‌ترین اشکال بی‌عدالتی الگوریتمی می‌داند.

چهارمین نکته، معیار مهم دیگر برای ممنوعیت «نامتناسب بودن» و «ناموجه بودن» پیامدهاست. حتی اگر میان رفتار فرد و ارزیابی انجام‌شده نوعی ارتباط وجود داشته باشد، باز هم اگر پیامد تحمیل‌شده بیش از حد، نامتناسب یا غیرموجه باشد، قانون‌گذار آن را غیرقابل‌قبول می‌داند. بنابراین، مسئله فقط ارتباط داده و تصمیم نیست، بلکه تناسب و عدالت در نتیجه نیز اهمیت دارد.
پنجمین نکته مهم، این ملاحظه نشان می‌دهد که قانون‌گذار با اصل «ارزیابی» مخالف نیست، بلکه با «نظام امتیازدهی فراگیر و تنبیهی» مخالف است. به همین دلیل در پایان تصریح می‌کند که ارزیابی‌های قانونی و هدفمند ــ اگر برای هدفی مشخص و مطابق قانون انجام شوند ــ همچنان مجازند. این تمایز بسیار مهم است، زیرا نشان می‌دهد ممنوعیت متوجه هر نوع سنجش یا ارزیابی افراد نیست، بلکه متوجه نظام‌های فراگیر، تجمیعی و تبعیض‌آفرین امتیازدهی اجتماعی است.

در نهایت، این ملاحظه یک خط قرمز اساسی ترسیم می‌کند: در منطق حقوقی اتحادیه اروپا، انسان را نمی‌توان به یک «نمره اجتماعی» فروکاست و سپس بر مبنای آن نمره درباره ارزش، دسترسی، فرصت یا استحقاق او تصمیم گرفت. این دقیقاً همان جایی است که قانون‌گذار از کرامت انسانی در برابر منطق رتبه‌بندی الگوریتمی دفاع می‌کند.


منبع: ترجمه شده توسط بخش فناوری های نوین سایت راسخون