زبان انسان پر از ابهام و معانی دوگانه است. به عنوان مثال، معنای بالقوه این عبارت را در نظر بگیرید: "من به کلاس پروژه رفتم". بدون پیش زمینه، این یک جمله مبهم است.
دانشمندان کامپیوتر و زبان شناسان دهه ها تلاش کرده اند تا کامپیوترها را برای درک نکات ریز زبان انسان برنامه ریزی کنند. و از راه های خاصی، رایانه ها به سرعت به توانایی انسان در درک و تولید متن نزدیک می شوند.
هر وابستگی از یک مجموعه عظیم از چند میلیارد کلمه نوشته شده توسط مردم عادی استنباط شده است.متن پیش بینی کننده و ویژگی های تکمیل خودکار در دستگاه های ما از طریق عمل پیشنهاد برخی از کلمات و نه برخی دیگر، طرز فکر ما را تغییر می دهد. از طریق این تعاملات ظریف و روزمره، یادگیری ماشین بر فرهنگ ما تأثیر می گذارد. آیا ما برای آن آماده هستیم؟
من یک کار تعاملی آنلاین برای جشنواره نویسندگان Kyogle ایجاد کردم که به شما امکان می دهد این فناوری را به روشی بی ضرر کشف کنید.
تصویر: عکسی از جشنواره نویسندگان Kyogle درNSW ، در اوایل سال جاری. نویسنده ارائه داده است.
پردازش زبان طبیعی چیست؟
به زمینه استفاده از زبان روزمره برای تعامل با رایانه "پردازش زبان طبیعی" گفته می شود. وقتی با سیری یا الکسا صحبت می کنیم یا کلمات را در مرورگر تایپ می کنیم و بقیه جملات خود را به صورت پیش بینی شده مشاهده می کنیم با پردازش زبان طبیعی رو به رو هستیم.این تنها به دلیل پیشرفت های چشمگیر در پردازش زبان طبیعی طی دهه گذشته - از طریق الگوریتم های پیچیده یادگیری ماشین آموزش داده شده روی مجموعه داده های عظیم (معمولاً میلیاردها کلمه) - امکان پذیر شده است.
سال گذشته، پتانسیل این فناوری با انتشار مبدل پیش آموزش دیده تولید کننده (Generative Pre-trained Transformer 3) (GPT-3) مشخص شد. این یک معیار جدید را در مورد آنچه کامپیوترها می توانند با زبان انجام دهند تنظیم می کند.
GPT-3 می تواند با به دست آوردن روابط متنی بین کلمات در یک جمله، فقط چند کلمه یا عبارت را بگیرد و اسناد کاملی از زبان "معنی دار" را تولید کند. این کار را با استفاده از مدل های یادگیری ماشین، شامل دو مدل کاملاً پذیرفته شده به نام های "BERT" و "ELMO" انجام می دهد.
این فناوری چگونه بر فرهنگ تأثیر می گذارد؟
با این حال، هر مدل زبان تولید شده توسط یادگیری ماشین یک مشکل اساسی دارد: آنها به طور کلی هر آنچه را که می دانند از منابع داده مانند ویکی پدیا و توییتر یاد می گیرند.GLoVe هر کلمه در زبان انگلیسی را به عنوان بردار در یک فضای چند بعدی نشان می دهد (حدود 300 بعد). با این قبیل کارها، می تواند محاسبات را با کلمات انجام دهد، و کلمات را به صورت عدد جمع و تفریق کند.در واقع، یادگیری ماشینی داده ها را از گذشته می گیرد، برای تولید مدل از آنها "می آموزد" و از این مدل برای انجام وظایف در آینده استفاده می کند. اما در طی این فرآیند، یک مدل ممکن است جهان بینی تحریف شده یا مشکل سازی را از داده های آموزشی خود جذب کند.
اگر داده های آموزشی مغرضانه باشد، این تعصب به جای این که مورد چالش قرار گیرد، در مدل، کد گذاری و تقویت می شود. به عنوان مثال، ممکن است در نهایت یک مدل، گروه های هویتی خاص یا نژادهایی را با کلمات مثبت و دیگران را با کلمات منفی مرتبط کند.
همان طور که در مستند اخیر "بایگانی کد گذاری شده" شرح داده شده است، این می تواند منجر به طرد جدی و نابرابری شود.
هر چیزی که تاکنون گفته اید
این کارِ تعاملی که من ایجاد کردم به مردم امکان می دهد بصیرتی مفرح در مورد چگونگی درک کامپیوتر از زبان پیدا کنند. به آن، با توجه به روشی که مدل های زبان طبیعی از انواع منابع داده برای آموزش استفاده می کنند، «هر آن چه شما همیشه گفته اید» یا Everything You Ever Said (EYES) گفته می شود.EYES به شما امکان می دهد هر نوشته ای (کمتر از 2000 کاراکتر) را بنویسید و یک مفهوم را "کم کنید" و مفهوم دیگری را "اضافه" کنید. به عبارت دیگر، به شما امکان می دهد از رایانه برای تغییر معنای متن استفاده کنید. می توانید خودتان امتحان کنید.
تصویر: عکس صفحه ای از ابزار پردازش زبان طبیعی.EYES می تواند بر اساس درک زبان انگلیسی از داده های آموزش، مفاهیمی را از متنی که وارد می کنید اضافه و کم کند. Screenshot
در این جا نمونه ای از سرود ملی استرالیا که تحت برخی بازنگری های خودکار قرار گرفته است ارائه می شود. من مفهوم "امپراطوری" را کم کردم و مفهوم "کوالا" را اضافه کردم:
استرالیایی ها همه ما را غمگین می کنند
زیرا ما یکی هستیم و آزاد هستیم
ما زیستگان طلایی و فراوانی در مقابل فقر داریم
کوالای ما توسط خوک دریایی محاصره شده است
حیات وحش ما در کوآلاهای پستاندار وفور دارد
در طبیعی بودن و نادر بودن
در وامبت پستاندار، به هر کوالا اجازه دهید
نمایشگاه کوالای وامبت
آنگاه در اسپرژیلوز شادی آور، بگذارید تمرین آوازخوانی کنیم،
نمایشگاه کوالای وامبت
اینجا چه خبر است؟ در هسته‌ی خود، EYES از مدلی از زبان انگلیسی که توسط محققان دانشگاه استنفورد در ایالات متحده تهیه شده است، استفاده می کند، به نام بردارهای جهانی برای نمایش واژه Global Vectors for Word Representation (GLoVe).
یادگیری ماشینی داده ها را از گذشته می گیرد، برای تولید مدل از آنها "می آموزد" و از این مدل برای انجام وظایف در آینده استفاده می کند.EYES از GLoVe برای ایجاد متن با ایجاد یک سری تشبیهات استفاده می کند، در حالی که "قیاس"، مقایسه ای بین یک چیز و دیگری است. به عنوان مثال، اگر از شما بپرسم: "مرد قرار است سلطان باشد، زن چه؟" - ممکن است جواب دهید "ملکه". این یک مورد آسان است.
اما من می توانم یک سؤال چالش برانگیزتر از این بپرسم: "گل رز قرار است تیغ داشته باشد، عشق چه؟" بسته به تفسیر شما از زبان، در این جا چندین پاسخ احتمالی وجود دارد. وقتی از این قیاس ها سؤال شود، GLoVe به ترتیب پاسخ های "ملکه" و "خیانت" را ایجاد می کند.
GLoVe هر کلمه در زبان انگلیسی را به عنوان بردار در یک فضای چند بعدی نشان می دهد (حدود 300 بعد). با این قبیل کارها، می تواند محاسبات را با کلمات انجام دهد، و کلمات را به صورت عدد جمع و تفریق کند.
فرهنگ سایبورگ در اینجا بوده است
مشکلی که در یادگیری ماشینی وجود دارد این است که ارتباطات موجود بین برخی از مفاهیم در داخل جعبه سیاه پنهان مانده است. نمی توانیم آنها را ببینیم یا لمس کنیم. رویکردهای ایجاد شفافیت بیشتر در مدل های یادگیری ماشین، مورد توجه بسیاری از تحقیقات فعلی است.هدف از EYES این است که به شما اجازه دهد این وابستگی ها را به شیوه ای بازیگوشانه آزمایش کنید. بنابراین می توانید یک شهود برای نحوه مشاهده دنیا توسط مدل های یادگیری ماشین ایجاد کنید.
برخی از تشبیهات شما را با تند خویی خود غافلگیر می کند، در حالی که برخی دیگر ممکن است شما را گیج کند. با این حال، هر وابستگی از یک مجموعه عظیم از چند میلیارد کلمه نوشته شده توسط مردم عادی استنباط شده است.
مدل هایی مانند GPT-3 که از منابع مشابه داده ای آموخته اند، هم اکنون بر نحوه استفاده از زبان تأثیر می گذارند. داشتن کل خبرهای متشکل از متن های ماشینی دیگر یک افسانه علمی نیست. این فناوری تاکنون به وجود آمده است.
به زمینه استفاده از زبان روزمره برای تعامل با رایانه "پردازش زبان طبیعی" گفته می شود.و به نظر می رسد ردپای فرهنگی مدل های یادگیری ماشین فقط در حال رشد است.
منبع: نیک کلی، Queensland University of Technology
