تصمیم گیری الگوریتمی پتانسیل عظیمی برای انجام کار دارد. از شناسایی مناطق اولویت دار برای ارائه اولین کمک ها پس از وقوع زلزله، تا شناسایی افراد در معرض خطر COVID-19 در عرض چند دقیقه، ثابت شده است که کاربرد آن بسیار مفید بوده است.
 
اما هنگامی که اعتماد به الگوریتم ها بدون اطمینان از رعایت هنجارهای اخلاقی تعیین شده صورت گیرد، می تواند به شدت به مسیری اشتباه پیش رود. دو نمونه ای که اخیراً واقع شده است نشان می دهد که چگونه سازمان های دولتی در اتوماتیک کردن انصاف شکست می خورند.
 

1- الگوریتم با واقعیت مطابقت ندارد

این مشکل وقتی به وجود می آید که یک قاعده «یک سایز واحد به همه می خورد» در یک محیط پیچیده اجرا شود.
 
آخرین نمونه ویرانگر، افتضاح "robodebt" سنترلینک استرالیا بود. در این حالت، پرداخت های رفاهی که بر اساس درآمد دو هفته ای خود اظهاری است، ارجاع داده می شد به یک درآمد برآورد شده دو هفته ای، به عنوان میانگین ساده درآمدهای سالانه که به اداره امور مالیاتی استرالیا گزارش شده اند، و برای تولید خودکار یادداشت های بدهی، بدون هر گونه بررسی و توضیحی بیشتر انسانی، مورد استفاده قرار می گرفت.
 
این فرض با نحوه پرداخت نیروی کار بسیار اتفاقی استرالیا مغایرت دارد. به عنوان مثال، یک طراح گرافیک که نتوانسته باشد به مدت نه ماه از سال مالی کار پیدا کند اما توانسته باشد 12000 دلار سترالیا در سه ماه قبل از ماه ژوئن درآمد داشته باشد، بدهی خودکار افزایش یافته ای را در برابر خود شاهد می بود. این در حالی است که هیچ تقلبی رخ نداده است، و این سناریو دقیقاً نوعی از سختی را تشکیل می دهد که سنترلینک، برای رفع آن طراحی شده است.
 
در نهایت این طرح برای دولت استرالیا یک فاجعه بود، که اکنون پس از آن که دادگاه عالی به غیر قانونی بودن این طرح حکم داد، باید 721 میلیون دلار استرالیا بدهی ارزیابی شده صادر شده به طور اشتباه را بازپرداخت کند. بیش از 470،000 بدهی توسط این طرح افزایش یافته است، در درجه اول در برابر کسب کنندگان درآمد پایین، که این باعث ناراحتی قابل توجهی می شود.
 

2- ورودی ها، نژادپرستی را در خود تعبیه دارند

صحنه های حیرت انگیز خشونت پلیس در شهرهای ایالات متحده تأکید کرده است که تا چه اندازه نژاد پرستی سیستمی، از گشت های پلیس گرفته تا مجازات، بر فرایندهای نظم و قانون در ایالات متحده تأثیر می گذارد. قانون حمایت از داده های اتحادیه اروپا تصریح می کند که تصمیمات الگوریتمی که عواقب قابل توجهی برای هر شخص داشته باشد باید شامل یک مؤلفه بررسی انسانی باشد. افراد سیاه پوست به احتمال زیاد متوقف و مورد جستجو قرار می گیرند، به احتمال زیاد به دلیل تخلفات سطح پایین بازداشت می شوند، احتمال دارد که مدت زندان آنها در توافق نامه ها گنجانده شود، و برای جرم های قابل مقایسه در هنگام انجام مراحل دادرسی مجازات های طولانی تری بر آنها تحمیل شود.
 
 
تصویر: اعتراضات در سراسر کشور علیه خشونت نژادپرستانه پلیس در آمریکا فوران کرده است. Lazzaro / Alive Coverage / Sipa USA
 
این نژاد پرستی سیستمی، به نحو موذیانه تری، در فرایندهای الگوریتمی تکرار شده است. یک مثال، COMPAS ، یک سیستم بحث برانگیز "پشتیبانی از تصمیم گیری" است به منظور کمک به هیأت های تصمیم گیرنده آزادی موقت در ایالات متحده که کدام یک از زندانیان، با فراهم کردن یک امتیاز احتمال برای احتمال بازگشت مجدد آنها، زودتر آزاد شوند.
 
این الگوریتم به جای تکیه بر یک قانون تصمیم گیری ساده، از طیف وسیعی از ورودی ها، از جمله اطلاعات جمعیتی و پیمایشی، برای به دست آوردن امتیاز استفاده می کرد. این الگوریتم از نژاد به عنوان یک متغیر صریح استفاده نمی کرد، اما با استفاده از متغیرهایی که توسط پلیس و قضات قضایی در زمین شکل گرفته، نژادپرستی سیستمی را در خود جای داده است.
 
از متقاضیان سؤالاتی در مورد تعامل آنها با سیستم دادگستری، مانند سنی که برای اولین بار در تماس با پلیس بودند، و این که آیا خانواده یا دوستانشان قبلاً در زندان بودند، پرسیده می شد. این اطلاعات سپس برای به دست آوردن امتیاز نهایی "خطر" آنها استفاده شد.
 
همان طور که کتی اونیل آن را در کتاب خود با عنوان سلاح های تخریب ریاضی آورده است: " ساده است تصور کنید که زندانیان از یک زمینه ممتاز چگونه به یک روش پاسخ می دهند و کسانی که از خیابان های تو در توی سخت هستند به گونه ای دیگر پاسخ می دهند."
 

چه اشتباهی در حال وقوع است؟

استفاده از الگوریتم ها برای تصمیم گیری ذاتاً بد نیست. اما اگر سیستم های خودکار مورد استفاده دولت ها نتوانند اصولی را که انسان ها برای تصمیم گیری عادلانه به کار می برند، در خود بگنجانند، بد می شود.
 
افرادی که این راه حل ها را طراحی و پیاده سازی می کنند، نه تنها باید به آمار و طراحی نرم افزار بلکه به اخلاق نیز توجه کنند. در این جاست که باید بدانید چگونه:
 
* قبل از اجرا، با کسانی که احتمالاً تحت تأثیر روند جدیدی قرار دارند، مشورت کنید ، نه پس از آن
 
* به بررسی تعصب ناعادلانه بالقوه در مرحله طراحی روند بپردازید
 
* اطمینان حاصل کنید که منطق زیرین تصمیمات شفاف است و نتایج نسبتاً قابل پیش بینی است
 
* یک انسان را برای مسئولیت یکپارچگی تصمیمات و پیامدهای آنها پاسخگو کنید
 
ایده آل خواهد بود اگر توسعه دهندگان الگوریتم های سیاست اجتماعی این اصول را در هسته اصلی کار خود قرار دهند. اما در صورت عدم پاسخگویی در بخش فناوری، برای مقابله با این مشکل قوانین متعددی تصویب شده یا در حال تصویب است.
 
قانون حمایت از داده های اتحادیه اروپا تصریح می کند که تصمیمات الگوریتمی که عواقب قابل توجهی برای هر شخص داشته باشد باید شامل یک مؤلفه بررسی انسانی باشد. همچنین سازمان ها ملزمند توضیحی شفاف از منطق مورد استفاده در فرآیندهای الگوریتمی ارائه دهند.
 
در همین حال، کنگره ایالات متحده پیش نویس قانون پاسخ گویی الگوریتمی را در نظر می گیرد که لازم می دارد مؤسسات "خطراتی را که سیستم تصمیم گیری خودکار می تواند منجر به تصمیمات نادرست، ناعادلانه، مغرضانه یا تبعیض آمیز بر مصرف کنندگان شود یا در آنها مشارکت کند" را در نظر گیرند.
 
قانون گذاری یک راه حل است، اما بهترین راه حل نیست. ما باید اخلاق و هنجارهای پیرامون تصمیم گیری را در عمل سازمانی توسعه داده و از آن استفاده کنیم. برای این کار ما باید سواد اطلاعات عمومی را تقویت کنیم به گونه ای که مردم زبان درخواست پاسخگویی از غول های فناوری که همه ما به طور فزاینده ای مرهون آنها هستیم را داشته باشند.
 
اگر قرار باشد از حقوق خود به عنوان شهروند محافظت کنیم، و در عین حال بخواهیم از فن آوری های ارائه شده در دنیای مملو از داده های خود استفاده کنیم، داشتن یک رویکرد شفاف و باز حیاتی است.
 
منبع: مونیکا ساردر - Monash University