مفهوم سوگیری مدل و چگونگی ارتباط آن با زمینه عدالت الگوریتم، مهم است. برای برجسته کردن اهمیت این زمینه، تاکنون نمونه هایی از مدل های مغرضانه و پیامدهای آنها ارائه شده است. این‌ها شامل مدل هایی از صنایع مختلف است که بر اساس جنسیت یا نژاد تبعیض قائل می شوند.
انصاف الگوریتم چیست؟
در یادگیری ماشینی، اصطلاحات الگوریتم و مدل به جای یکدیگر استفاده می شوند. به طور دقیق، الگوریتم ها توابع ریاضی مانند رگرسیون خطی، جنگل های تصادفی یا شبکه های عصبی هستند. مدل ها الگوریتم هایی هستند که بر روی داده ها آموزش داده شده اند. پس از آموزش، از یک مدل برای پیش‌بینی استفاده می‌شود که می‌تواند به یک سیستم کامپیوتری خودکار در تصمیم‌گیری کمک کند. این تصمیمات می تواند شامل هر چیزی از تشخیص سرطان بیمار گرفته تا پذیرش درخواست های وام مسکن باشد.هیچ مدلی کامل نیست، به این معنی که آنها می توانند پیش بینی های نادرستی انجام دهند. اگر این خطاها به طور سیستماتیک به ضرر گروهی از افراد باشد، می گوییم مدل مغرضانه است. به عنوان مثال، یک مدل غیرمنصفانه/سوگیرانه می‌تواند درخواست‌های وام مسکن را برای زنان بیشتر از مردان رد کند. به طور مشابه، ما می‌توانیم به سیستمی پزشکی دست پیدا کنیم که با احتمال کمتری سرطان را در بیماران سیاه پوست نسبت به بیماران سفیدپوست تشخیص دهد.
انصاف الگوریتم زمینه ای تحقیقاتی با هدف درک و تصحیح سوگیری هایی از این قبیل است که به طور خاص شامل این موارد است:
* بررسی علل سوگیری در داده ها و الگوریتم ها
* تعریف و به کارگیری اندازه گیری های انصاف
* توسعه روش‌های جمع‌آوری داده و مدل‌سازی با هدف ایجاد الگوریتم‌های منصفانه
* ارائه مشاوره به دولت ها/شرکت ها در مورد نحوه تنظیم الگوریتم ها
تفسیرپذیری در یادگیری ماشینی
آیا همیشه باید به مدلی اعتماد کنیم که عملکرد خوبی دارد؟ یک مدل می تواند درخواست شما را برای وام مسکن رد کند یا سرطان شما را تشخیص دهد. عواقب این تصمیمات جدی است و حتی اگر درست باشد، انتظار توضیح داریم. یک انسان می تواند به شما بگوید که درآمد شما برای وام مسکن بسیار کم است یا این که گروه خاصی از سلول ها احتمالاً بدخیم هستند. مدلی که توضیحات مشابهی را ارائه می‌کند، مفیدتر از مدلی است که فقط پیش‌بینی ارائه می‌دهد.با به دست آوردن این توضیحات، می گوییم در حال تفسیر یک مدل یادگیری ماشین هستیم. در ادامه این مقاله، منظور از تفسیرپذیری را با جزئیات بیشتری توضیح خواهیم داد. سپس به اهمیت و مزایای توانایی تفسیر مدل های شما می پردازیم. با این حال، هنوز برخی از نقاط ضعف وجود دارد. ما با بحث در مورد این‌ها و این که چرا در برخی موارد، ممکن است مدلی کمتر قابل تفسیر را ترجیح دهید، بحث را به پایان خواهیم رساند.
منظور ما از تفسیرپذیری چیست؟
قبلاً، مفهوم تفسیرپذیری مدل و چگونگی ارتباط آن با یادگیری ماشینی قابل تفسیر و توضیح را مورد بحث قرار داده‌ایم. به طور خلاصه، تفسیرپذیری درجه ای است که یک مدل را می توان از نظر انسانی درک کرد. مدل A قابل تفسیرتر از مدل B است اگر برای انسان آسان تر باشد که بفهمد مدل A چگونه پیش بینی می کند. به عنوان مثال، یک شبکه عصبی کانولوشن کمتر از یک جنگل تصادفی، که کمتر از یک درختِ تصمیم قابل تفسیر است، قابل تفسیر است.با در نظر گرفتن این موضوع، می گوییم یک مدل یک مدل قابل تفسیر است در صورتی که بتوان آن را بدون هیچ ابزار یا تکنیک دیگری درک کرد. مدل های قابل تفسیر، در حد بالایی قابل تفسیر هستند. در مقایسه، مدل‌های قابل توضیح بیش از آن پیچیده هستند که بدون کمک تکنیک‌های اضافی قابل درک باشند. ما می گوییم این مدل ها قابلیت تفسیر کمی دارند. ما می‌توانیم ببینیم که چگونه این مفاهیم به هم مرتبط هستند. به طور کلی، مدل‌ها را می‌توان به‌عنوان قابل تفسیر یا توضیح‌پذیر طبقه‌بندی کرد، اما مناطقی خاکستری وجود دارد که افراد در آن مناطق دارای اختلاف نظر هستند.
چرا تفسیرپذیری مهم است؟
همان طور که گفته شد، برای درک نحوه عملکرد مدل‌های قابل توضیح، به تکنیک‌های اضافی مانند اهمیت ویژگی یا LIME نیاز داریم. اجرای این تکنیک ها می تواند مستلزم تلاش زیادی باشد و مهم‌تر از همه این که آنها فقط تقریبی برای نحوه کار یک مدل ارائه می دهند. بنابراین، ما نمی توانیم کاملاً مطمئن باشیم که یک مدل قابل توضیح را درک می کنیم. هنگام مقایسه مدل های قابل تفسیر می توانیم وضعیت مشابهی داشته باشیم.به عنوان مثال، رگرسیون لجستیک و درختان تصمیم. هیچ کدام از این‌ها به تکنیک های اضافی نیاز ندارند، اما رگرسیون لجستیک ممکن است هنوز به تلاش بیشتری برای تفسیر نیاز داشته باشد. ما به درک تابع سیگموئید و چگونگی ارتباط ضرایب با شانس/احتمال نیاز داریم. این پیچیدگی همچنین ممکن است منجر به اشتباهاتی در تفسیرهای ما شود. به طور کلی، هر چه یک مدل قابل تفسیرتر باشد درک آن آسان تر است و ما می توانیم بیشتر مطمئن باشیم که درک ما درست است. تفسیرپذیری به دلیل مزایای بسیاری که از این امر ناشی می شود، مهم است.
راحت تر برای توضیح
اولین مزیت برای ما این است که مدل های قابل تفسیر، برای دیگران آسان تر توضیح داده می شوند. برای هر موضوعی، هر چه بهتر آن را بفهمیم، توضیح آن آسان تر است. همچنین باید بتوانیم آن را به زبان ساده (یعنی بدون ذکر جزئیات فنی) توضیح دهیم. در صنعت، افراد زیادی وجود دارند که ممکن است انتظار توضیح ساده در مورد نحوه عملکرد مدل شما داشته باشند. این افراد لزوماً سوابق فنی یا تجربه ای در زمینه یادگیری ماشینی نخواهند داشت.به عنوان مثال، فرض کنید ما یک مدل ایجاد کرده ایم که پیش بینی می کند آیا کسی ادعای بیمه عمر خواهد کرد یا خیر. ما می خواهیم از این مدل برای خودکارسازی بیمه نامه عمر در شرکت خود استفاده کنیم. برای امضای مدل، رئیس ما نیاز به توضیح دقیق در مورد نحوه عملکرد آن دارد. یک مشتری ناراضی ممکن است به حق توضیح بخواهد که چرا برای پوشش مادام العمر تأیید نشده است. یک تنظیم کننده حتی می تواند قانوناً چنین توضیحی را بخواهد.
تلاش برای توضیح دادن به این افراد که یک شبکه عصبی چگونه پیش بینی می کند ممکن است باعث سردرگمی زیادی شود. به دلیل عدم قطعیت، ممکن است حتی توضیح را قبول نکنند. در مقایسه، مدل‌های قابل تفسیر مانند رگرسیون لجستیک را می‌توان در قالب‌های انسانی درک کرد. این بدان معنی است که آنها را می توان در قالب های انسانی توضیح داد. به عنوان مثال، می‌توانیم دقیقاً توضیح دهیم که عادت سیگار کشیدن مشتری تا چه اندازه احتمال مرگ او را افزایش داده است.
سهولت بیشتر بررسی و رفع خطاها
رابطه ای که در بالا توضیح داده شد، عِلّی است (یعنی سیگار کشیدن باعث سرطان/مرگ می شود). به طور کلی، مدل های یادگیری ماشینی فقط به وابستگی ها اهمیت می دهند. برای مثال، یک مدل می‌تواند از کشور مبدأ فردی برای پیش‌بینی ابتلا به سرطان پوست استفاده کند. با این حال، مانند سیگار کشیدن، آیا می توانیم بگوییم کشور کسی باعث سرطان می شود؟ دلیل این امر این است که سرطان پوست ناشی از نور خورشید است و برخی از کشورها نسبت به سایر کشورها آفتابی‌تر هستند. بنابراین فقط می توانیم بگوییم سرطان پوست با برخی کشورها مرتبط است.
یک مثال خوب از جایی که ارتباط ها ممکن است به اشتباه بروند، از آزمایش انجام شده توسط تحقیقات انجام شده در دانشگاه واشنگتن می آید. این تحقیقات یک مدل تشخیص تصویر را برای طبقه بندی حیوانات به عنوان سگ قطبی یا گرگ آموزش دادند. با استفاده از LIME، آنها سعی کردند بفهمند مدل آنها چگونه پیش بینی می کند. مدل، پیش بینی های خود را بر اساس پس زمینه تصویر قرار داد. اگر پس زمینه برف بود، حیوان همیشه به عنوان گرگ طبقه بندی می شد. آنها اساساً مدلی ساخته بودند که برف را تشخیص می داد.
مسئله این است که گرگ با برف همراه است. گرگ ها معمولاً در برف یافت می شوند در حالی که در مورد هاسکی ها یا سگ های قطبی این گونه نیست. آن چه این مثال به ما نشان می‌دهد این است که مدل‌ها نه تنها می‌توانند پیش‌بینی‌های نادرست انجام دهند، بلکه می‌توانند پیش‌بینی‌های صحیح را نیز به روشی اشتباه انجام دهند. به‌عنوان دانشمندان داده، باید مدل‌های خود را بررسی کنیم تا مطمئن شویم که آنها به این روش پیش‌بینی نمی‌کنند. هرچه مدل شما قابل تفسیرتر باشد، انجام این کار آسان تر است.
سهولت بیشتر برای تعیین عملکرد آینده
با گذشت زمان، قدرت پیش بینی یک مدل ممکن است بدتر شود. این به این دلیل است که روابط بین ویژگی های مدل و متغیر هدف می تواند تغییر کند. به عنوان مثال، به علت وجود شکاف در دستمزد، درآمد ممکن است در حال حاضر پیش بینی کننده خوبی برای جنسیت باشد. اما همان طور که جامعه به سمت برابری ییشتر می رود، درآمد قدرت پیش بینی خود را از دست می دهد. ما باید از این تغییرات بالقوه و تأثیر آنها بر مدل های خود آگاه باشیم. انجام این کار برای مدل های قابل توضیح دشوارتر است. از آن جایی که مشخص نیست چگونه از ویژگی ها استفاده می شود، حتی اگر تأثیر آن بر ویژگی های فردی را بدانیم، ممکن است نتوانیم تأثیر آن را بر روی کل مدل بیان کنیم.سهولت بیشتر برای یادگیری از مدل
این طبیعت انسان است که تلاش کند در ناشناخته ها معنا پیدا کند. یادگیری ماشینی می‌تواند به ما کمک کند الگوهایی را در داده‌هایمان کشف کنیم که نمی‌دانستیم وجود دارند. با این حال، ما نمی‌توانیم این الگوها را تنها با نگاه کردن به پیش‌بینی‌های مدل شناسایی کنیم. اگر نتوانیم مدل خود را تفسیر کنیم، هر درسی از بین می رود. در نهایت، هر چه یک مدل کمتر قابل تفسیر باشد، یادگیری از آن دشوارتر است.انصاف الگوریتم
این مهم است که مدل های شما تصمیمات بی طرفانه بگیرند تا هیچ بی عدالتی تاریخی را همیشگی نکنند. شناسایی منابع سوگیری می تواند دشوار باشد. این منابع اغلب از ارتباط بین ویژگی های مدل و متغیرهای محافظت شده (مانند نژاد یا جنسیت) ناشی می شود. به عنوان مثال، به دلیل سابقه جداسازی اجباری در آفریقای جنوبی، نژاد به شدت با محل/همسایگی افراد مرتبط است. مکان می تواند به عنوان یک پروکسی برای نژاد عمل کند. مدلی که از مکان استفاده می کند ممکن است نسبت به نژاد خاصی سوگیری داشته باشد.استفاده از یک مدل قابل تفسیر لزوماً به این معنی نیست که شما یک مدل بی طرف خواهید داشت. همچنین به این معنا نیست که تشخیص عادلانه بودن یا نبودن مدل آسان تر خواهد بود. این به این دلیل است که بیشتر معیارهای انصاف (مثلاً نرخ مثبت کاذب، تأثیر متفاوت) مدل ناشناس هستند. آنها فقط یه راحتی محاسبه برای هر مدلی هستند. کاری که استفاده از یک مدل قابل تفسیر انجام می دهد، شناسایی و تصحیح منبع سوگیری است. ما می دانیم که از چه ویژگی هایی استفاده می شود و می توانیم بررسی کنیم که کدام یک از این‌ها با متغیرهای محافظت شده مرتبط هستند.
معایب تفسیرپذیری
بسیار خوب، متوجه شدیم... مدل های قابل تفسیر عالی هستند. درک، توضیح و یادگیری از آنها آسان تر است. آنها همچنین به ما امکان می دهند عملکرد فعلی، عملکرد آینده و عادلانه بودن مدل را بهتر بررسی کنیم. با این حال، جنبه های منفی برای تفسیرپذیری و موقعیت هایی وجود دارد که ما یک مدل قابل توضیح را ترجیح می دهیم.برای دستکاری باز است
سیستم های مبتنی بر ML در معرض دستکاری یا تقلب هستند. به عنوان مثال، فرض کنید سیستمی داریم که به طور خودکار وام خودرو می دهد. یک ویژگی مهم می تواند تعداد کارت های اعتباری باشد. هر چه مشتری کارت های بیشتری داشته باشد ریسک پذیرتر است. اگر مشتری این را می دانست، می توانست به طور موقت تمام کارت های خود را لغو کند، وام خودرو بگیرد و سپس دوباره برای همه کارت های اعتباری درخواست دهد.احتمال بازپرداخت وام توسط مشتری با این که او کارت های خود را کنسل کند تغییر نمی کند. مشتری مدل را دستکاری کرده است تا یک پیش بینی نادرست داشته باشد. هر چه یک مدل قابل تفسیرتر باشد، دستکاری آن شفاف تر و آسان تر است. این مورد حتی اگر عملکرد درونی یک مدل مخفی نگه داشته شود صادق است. روابط بین ویژگی ها و متغیر هدف معمولاً ساده تر است و این حدس زدن آنها را آسان تر می کند.
کمتر یاد می گیریم
ما اشاره کردیم که یادگیری از مدل‌های قابل تفسیر آسان‌تر است. طرف دیگر این است که آنها کمتر به ما چیز جدیدی یاد می دهند. یک مدل قابل توضیح مانند یک شبکه عصبی می تواند به طور خودکار تعاملات و روابط غیر خطی در داده ها را مدل کند. با تفسیر این مدل‌ها می‌توانیم این روابط را که هرگز نمی‌دانستیم وجود دارند، کشف کنیم.در مقایسه، الگوریتم هایی مانند رگرسیون خطی فقط می توانند روابط خطی را مدل کنند. برای مدل‌سازی روابط غیر خطی، باید از مهندسی ویژگی برای گنجاندن هر متغیر مرتبط در مجموعه داده‌هایمان استفاده کنیم. این امر مستلزم دانش قبلی از روابط است که این ناقض هدف از تفسیر مدل است.
نیاز به دانش / تخصص دامنه
ساخت مدل‌های قابل تفسیر می‌تواند به دانش و تخصص حوزه های قابل توجهی نیاز داشته باشد. به طور کلی، مدل های قابل تفسیر، مانند رگرسیون، فقط می توانند روابط خطی را در داده های شما مدل کنند. برای مدل سازی روابط غیر خطی، باید مهندسی ویژگی را انجام دهیم. به عنوان مثال، برای یک مدل تشخیص پزشکی، ممکن است بخواهیم BMI را با استفاده از قد و وزن محاسبه کنیم. دانستن این که چه ویژگی‌هایی قابل پیش‌بینی هستند و بنابراین، چه ویژگی‌هایی باید ایجاد شود، نیازمند دانش دامنه در یک زمینه خاص است.
ممکن است تیم شما این دانش را نداشته باشد. از طرف دیگر، می توانید از یک مدل قابل توضیح استفاده کنید که به طور خودکار روابط غیر خطی را در داده های شما مدل می کند. این نیاز به ایجاد هر گونه ویژگی جدید را برطرف می کند. اساساً تفکر را به رایانه واگذار می کنیم. نقطه ضعف، همان طور که در بالا به طور کامل بحث کردیم، درک ضعیف تر از نحوه استفاده از ویژگی ها برای پیش بینی است.
تهاتر پیچیدگی-دقت
آن چه از مطالب بالا می بینیم این است که، به طور کلی، هر چه یک مدل گمتر پیچیده باشد، قابل تفسیرتر است. بنابراین، برای تفسیرپذیری بالاتر، می‌توان تهاتری با دقت پایین‌تر داشت. این به این دلیل است که در برخی موارد، مدل‌های ساده‌تر می‌توانند پیش‌بینی‌های دقیق‌تری انجام دهند. این واقعاً بستگی به مشکلی دارد که شما سعی در حل آن دارید. به عنوان مثال، با استفاده از رگرسیون لجستیک برای تشخیص تصویر، نتایج ضعیفی دریافت خواهید کرد.برای بسیاری از مشکلات، یک مدل قابل تفسیر به خوبی یک مدل قابل توضیح عمل می کند. مثلاً اگر یک مدل قابل تفسیر، رگرسیون لجستیک، را با یک مدل قابل توضیح، یک شبکه عصبی، مقایسه کنیم نشان داده می‌شود که با کمی فکر کردن به مشکل خود و ایجاد ویژگی‌های جدید می‌توانیم به دقت مشابهی با یک مدل قابل تفسیر دست پیدا کنیم. این یک برداشت عملی خوب از برخی از مفاهیمی است که مورد بحث قرار دادیم.
منبع: کانر اوسالیوان، towardsdatascience
