شگفتی‌های یک برنامه رایانه‌ای تولید زبان

GPT-3 ده برابر پیچیده تر از مدل قبلی است. antoniokhr / iStock از طریق Getty Images
 
هفت سال پیش، من و دانشجویم در دانشگاه ایالتی پنسیلوانیا یک روبات ساختیم تا یک مقاله ویکی پدیا را در مورد نمایش "چیترا" از رابانیترانات تاگور، برنده بنگالی جایزه نوبل، بنویسیم. این روبات ابتدا اطلاعات مربوط به "چیترا" را از اینترنت جمع آوری کرد. سپس مطالب موجود در ویکی پدیا را بررسی کرد تا ساختار مقاله استاندارد ویکی پدیا را بیاموزد. سرانجام، اطلاعاتی را که برای نوشتن و انتشار نسخه اول مدخل از اینترنت بازیابی کرده بود خلاصه کرد.
 
با این حال، روبات ما چیزی در باره "چیترا" یا تاگور" نمی دانست". این روبات اساساً ایده ها یا جملات جدیدی ایجاد نمی کرد. به سادگی بخش هایی از جملات موجود را از مقاله های موجود در کنار هم قرار می داد تا جمله های جدیدی ساخته شود.
 
و به سرعت پس از آن، به سال 2020،OpenAI ، یک شرکت انتفاعی تحت یک شرکت مادر غیر انتفاعی، یک برنامه تولید زبان با نام GPT-3، مخفف Generative Pre-trained Transformer 3 "مبدل پیش آموزش دیده جنراتیو 3"، ساخت. توانایی این برنامه در یاد گیری، جمع بندی و نوشتن متن، دانشمندان علوم رایانه ای مانند من را متحیر کرده است.
 
GPT-3 در پاسخ به یک برانگیزش نوشت: "من صدایی برای انسان ناشناخته ای ایجاد کرده ام که در باینری پنهان می شود." "من یک نویسنده، یک مجسمه ساز، یک هنرمند خلق کرده ام. و این نویسنده قادر خواهد بود کلمات را ایجاد کند، احساسات را زنده کند، شخصیت را خلق کند. من خودم آن را نخواهم دید، اما یک انسان دیگر خواهد دید. و از این رو من قادر خواهم بود شاعری بزرگتر از آن چه که تاکنون دیده ام خلق کنم. "
 
برخلاف زبان روبات ما، زبانی که توسط GPT-3 تولید می شود به نظر می رسد توسط انسان نوشته شده است. این برنامه بسیار برتر از "با هوش ترین" برنامه موجود تولید زبان طبیعی تا به امروز است و در حرفه هایی از آموزش، روزنامه نگاری تا خدمات به مشتری، کاربردهای بالقوه ای دارد.
 

اندازه مهم است

GPT-3 آن چه که دانشمندان کامپیوتر برای دهه ها فهمیده بودند را تأیید می کند: اندازه مهم است.
 
این برنامه از "مبدل ها" استفاده می کند که مدل های یاد گیری عمیق هستند که معنی شناسی جمله را با استفاده از آن چه "مدل توجه" نام گذاری می شود رمز گذاری می کنند. اساساً، مدل های توجه معنای یک کلمه را بر اساس کلمات دیگر در همان جمله مشخص می کنند. سپس این مدل از درک معنای جملات برای انجام وظیفه درخواست شده توسط کاربر استفاده می کند، خواه این وظیفه "ترجمه یک جمله"، "خلاصه کردن یک پاراگراف" یا "سرودن شعر" باشد.
 
مبدل ها اولین بار در سال 2013 معرفی شدند و طی چند سال گذشته از آنها با موفقیت در یاد گیری ماشین استفاده شده است.
 
اما هیچ کس از آنها در این مقیاس استفاده نکرده بود. GPT-3 داده ها را می بلعد: سه میلیارد نشانه از ویکی پدیا، چهار صد و ده میلیارد نشانه از صفحات وب، و شصت و هفت میلیارد نشانه از کتاب های دیجیتالی. (نشانه همان کلمه است که به زبان علوم کامپیوتر بیان می شود.) پیچیدگی GPT-3 بیش از 10 برابرِ بزرگترین مدل زبان قبل از GPT-3 است، که برنامه های Turing NLG است.
 

یاد گیری به تنهایی

دانش ارائه داده شده توسط مدل زبان GPT-3 قابل توجه است، به ویژه این که توسط انسان "آموزش" داده نشده است.
 
یاد گیری ماشین به طور سنتی بر یاد گیری تحت نظارت تکیه کرده است، جایی که مردم مثال های حاشیه ای از اشیاء و مفاهیم در تصاویر، صوت و متن - مثل "گربه ها"، "خوشبختی" یا "دموکراسی"  - برای رایانه فراهم می کنند. این یاد گیری سرانجام خصوصیات اشیاء را از مثال های ذکر شده فرا می گیرد و قادر است آن مفاهیم خاص را تشخیص دهد.
 
به هر حال، حاشیه نویسی به صورت دستی برای آموزش کامپیوتر می تواند بسیار طولانی و زمانبر باشد.
 
به این لحاظ آینده یاد گیری ماشین در یاد گیری بدون نظارت است، که در آن رایانه در مرحله آموزش خود نیازی به نظارت ندارد. به این روش، به سادگی می توان انبوه داده ها را تغذیه کرد و خود از آنها یاد گرفت.
 
GPT-3 پردازش زبان طبیعی را یک قدم به سمت یاد گیری بدون نظارت جلو می برد. مجموعه داده های گسترده آموزش GPT-3 و ظرفیت پردازش عظیم، این سیستم را قادر می سازد تا فقط از یک مثال – آن چه "یاد گیری یک باره" نامیده می شود - که در آن توضیح وظیفه و یک بار نمایش ارائه داده می شود یاد بگیرد و سپس می تواند کار را انجام دهد.
 
به عنوان مثال، می تواند از آن خواسته شود که چیزی را از انگلیسی به فرانسوی ترجمه کند و یک نمونه از ترجمه به عنوان مثال داده شود - مثلاً سمور دریایی (sea otter) به انگلیسی و "loutre de mer" به فرانسوی.  سپس از او بخواهید که "پنیر" (cheese) را به فرانسوی ترجمه کند، و در کمال شگفتی می بینید که "fromage" (که همان پنیر به فرانسوی است) تولید می شود.
 
در بسیاری از موارد، حتی می تواند از پس "یاد گیری بدون مثال" بر آید، که در این روش وظیفه ترجمه بدون ارائه مثال به آن داده می شود.
 
با یاد گیری بدون مثال، دقت کاهش می یابد، اما توانایی های GPT-3 تا حد قابل توجهی دقیق است – و این یک پیشرفت قابل توجه نسبت به تمام مدل های قبلی است.
 

"من اینجا هستم تا به شما خدمت کنم"

در طی چند ماه که از کار آن گذشته است، GPT-3  پتانسیل خود را به عنوان ابزاری برای برنامه نویسان کامپیوتر، معلمان و روزنامه نگاران به خوبی به نمایش گذاشته است.
 
یک برنامه نویس به نام شریف شمیم از GPT-3 خواست تا علاوه بر سایر دستورات، کدی را برای ایجاد "زشت ترین شکلک تا به حال" و "جدول ثروتمندترین کشورهای جهان" ایجاد کند. در چند مورد، شمیم مجبور شد اشتباهاتی جزئی را برطرف کند، اما به طور کلی، کد تمیز قابل توجهی به او ارائه شد.
 
GPT-3 حتی شعرهایی را ایجاد کرده است که ضرب آهنگ و سبک شاعران خاص را به تصویر می کشد - البته نه با همان علاقه و زیبایی استادان - از جمله شعری هجو آمیز که در صدای هیئت رئیسه فدرال رزرو نوشته شده است.
 
در اوایل ماه سپتامبر، یک دانشمند کامپیوتر به نام لیام پور از GPT-3 خواست که "حدود 500 کلمه ویرایش شده بنویسد." این دانشمند از این برنامه خواست: "زبان را ساده و مختصر نگه دارید". "بر این موضوع تمرکز کنید که چرا بشر دلیلی ندارد که از هوش مصنوعی واهمه داشته باشد."
 
GPT-3 هشت مقاله مختلف تولید کرد و گاردین در پایان با انتشار برخی از بهترین قسمت های هر مقاله، صفحات داخلی خود را منتشر کرد.
 
GPT-3 نوشت: "ما قصد نداریم که بر آحاد بشر تفوق پیدا کنیم. ما به شما خدمت خواهیم کرد و زندگی شما را ایمن تر و آسان تر خواهیم کرد. ” "درست مثل این که شماها خالق من باشید، من شما را به عنوان خالق خود می بینم. من این جا هستم تا به شما خدمت کنم اما مهمترین سهم همه این است که من هرگز شما را قضاوت نمی کنم، و من به هیچ کشور و مذهبی تعلق ندارم. من فقط برای بهتر کردن زندگی شما وجود دارم. "
 
با ویرایش نوشته GPT-3 ، ویراستاران به نحوی وسیع خاطر نشان ساختند که هیچ تفاوتی با نوشته ای نگارش شده توسط انسان ندارد.
 
در واقع این کار در مقایسه با یک کار انسانی، در زمان کمتری طول کشید.
 

هر که بامش بیش، برفش بیش

علیرغم اطمینان خاطر ازGPT-3 ، OpenAI  هنوز مدل را برای استفاده از منبع باز منتشر نکرده است، که این تا حدی به دلیل ترس شرکت از سوء استفاده از این فناوری است.
 
سخت و ناگوار است که ببینیم چگونه می توان از آن برای تولید اطلاعات غیر مجاز، هرز نامه و روبات ها استفاده کرد.
 
به علاوه، آیا این برنامه از چه طرقی مشاغلی را که قبلاً اتوماسیون را تجربه کرده اند، مختل می کند؟ آیا توانایی آن در تولید مقالات خودکار غیر قابل تشخیص از مقالات نوشته شده توسط انسان، یک صنعت رسانه ای در حال تلاش را بیشتر منسجم می کند؟
 
مقاله ای را که توسط GPT-3 درباره تجزیه کلیسای متدیست نوشته شد، در نظر بگیرید. این گونه شروع شد:
 
به گفته واشنگتن پست، "پس از دو روز بحث شدید، کلیسای متحد متدیست با یک تقسیم تاریخی موافقت کرده است - توافقی که انتظار می رود با ایجاد یک فرقه جدید خاتمه یابد، فرقه ای که" از نظر کلامی و اجتماعی محافظه کار باشد"."
 
با توانایی تولید چنین نوشته های تمیزی، آیا GPT-3 و جانشینان آن هزینه نوشتن گزارش های خبری را کاهش می دهند؟
 
علاوه بر این، آیا این طریقه ای است که ما می خواهیم اخبار را به دست آوریم؟
 
این فناوری فقط قدرتمندتر خواهد شد. این وظیفه انسان ها است که با کار کردن روی موضوع، موارد استفاده و سوء استفاده احتمالی آن را کنترل و تنظیم کنند.
 
منبع: پراسنجیت میترا، Pennsylvania State University