اگر چیزی بتوان گفت این است که این روند سرسام آور فقط در حال تسریع است. پنج سال بعد، زمینه هوش مصنوعی بسیار متفاوت از امروز خواهد بود. منتظر این باشید که مبدلها به عنوان پایه ای برای نسل جدیدی از توانایی های هوش مصنوعی در سال های آینده، با زبان طبیعی، عمل کنند. در آن زمان روشهایی که در حال حاضر پیشرفته در نظر گرفته می شوند منسوخ می شوند و روشهایی که امروزه نوپا یا در حاشیه هستند، جریان اصلی خواهند بود.
نسل بعدی هوش مصنوعی چگونه خواهد بود؟ کدام یک از رویکردهای جدید هوش مصنوعی امکان های غیر قابل تصور فعلی در فناوری و تجارت را در اختیار قرار خواهد داد؟ این مقاله سه حوزه در حال ظهور در هوش مصنوعی را نشان می دهد.
1- یادگیری بدون نظارت
الگوی غالب در دنیای هوش مصنوعی امروز یادگیری تحت نظارت است. در یادگیری نظارت شده، مدل های هوش مصنوعی از مجموعه داده هایی می آموزند که انسانها طبق دسته های از پیش تعریف شده، آنها را دسته بندی و برچسب گذاری کرده اند. (اصطلاح "یادگیری تحت نظارت" از این واقعیت ناشی می شود که "ناظران" انسانی داده ها را از قبل آماده می کنند.)در حالی که یادگیری تحت نظارت پیشرفت چشمگیری در هوش مصنوعی، از وسایل نقلیه خودگردان گرفته تا دستیاران صوتی، طی دهه گذشته داشته است، اما محدودیت هایی جدی نیز دارد.
روند برچسب گذاری دستی هزاران یا میلیون ها نقطه داده می تواند بسیار گران و دشوار باشد. این واقعیت که انسان قبل از استفاده از مدل های یادگیری ماشین باید داده ها را با دست برچسب گذاری کند، به یک گلوگاه اصلی در هوش مصنوعی تبدیل شده است.
در یک سطح عمیق تر، یادگیری تحت نظارت، نوعی یادگیری باریک و محدود و مشخص را نشان می دهد. الگوریتم های نظارت شده به جای اینکه بتوانند تمام اطلاعات، روابط و پیامدهای نهفته در یک مجموعه داده مشخص را کشف و جذب کنند، فقط به مفاهیم و مقوله هایی می پردازند که محققان پیش از موعد شناسایی کرده اند.
در مقابل، یادگیری بدون نظارت رویکردی برای هوش مصنوعی است که در آن الگوریتم ها از اطلاعات بدون برچسب یا بدون راهنمایی های ارائه شده توسط انسان یاد می گیرند.
بسیاری از رهبران هوش مصنوعی، یادگیری بدون نظارت را مرز اصلی بعدی در هوش مصنوعی می دانند. به عبارت بیان شده در افسانه هوش مصنوعی یان لکون: "انقلاب بعدی هوش مصنوعی نظارت نخواهد شد." جیتندا مالک، استاد دانشگاه برکلی، این مسئله را با رنگ و بویی بیشتر بیان کرد: "برچسب ها افیون محقق یادگیری ماشین است. "
یادگیری بدون نظارت چگونه کار می کند؟ به طور خلاصه، این سیستم در مورد برخی از نقاط جهان بر اساس سایر نقاط جهان اطلاعات کسب می کند. با مشاهده رفتار، الگوها و روابط بین موجودیت ها - به عنوان مثال ، کلمات موجود در متن یا افراد موجود در ویدئو - سیستم درکی کلی از محیط خود را آغاز می کند. انتظار داشته باشید که یادگیری فدراتیو در سالهای آینده به بخشی مهم از پشته فناوری هوش مصنوعی تبدیل شود. برخی از محققان این بیان را با عبارت "پیش بینی همه چیز از هر چیز دیگر" خلاصه می کنند.
یادگیری بدون نظارت بیشتر منعکس کننده راهی است که انسانها از آن طریق در مورد جهان می آموزند: از طریق کاوش و استنباط پایان باز، بدون نیاز به "چرخهای فرمان آموزش" یادگیری تحت نظارت. یکی از مزایای اساسی آن این است که همیشه داده های بدون برچسب بسیار بیشتر از داده های دارای برچسب در جهان وجود خواهد داشت (و بدست آوردن مورد اول بسیار آسان تر است.)
به قولLeCun ، که اصطلاح نزدیک مرتبط "یادگیری خود نظارت شده" را ترجیح می دهد: "در یادگیری خود نظارت شده، از بخشی از ورودی به عنوان یک سیگنال نظارتی برای پیش بینی قسمت باقی مانده ورودی استفاده می شود ... بیشتر دانش در مورد ساختار جهان را می توان از طریق یادگیری خود نظارت شده بیش از سایر پارادایم های هوش مصنوعی یاد گرفت، زیرا داده ها نامحدود است و میزان بازخورد ارائه شده توسط هر مثال بسیار زیاد است. "
یادگیری بدون نظارت در حال حاضر تأثیر دگرگون کننده در پردازش زبان طبیعی دارد. NLP اخیراً به لطف معماری یادگیری جدید بدون نظارت معروف به مبدل (یا ترانسفورمر) ، که از حدود سه سال پیش در گوگل سرچشمه گرفته است، پیشرفت خارق العاده ای داشته است.
تلاش ها برای استفاده از یادگیری بدون نظارت در سایر زمینه های هوش مصنوعی در مراحل اولیه باقی مانده است، اما پیشرفت سریع در حال انجام است. به عنوان یک مثال، استارتاپی به نام Helm.ai در تلاش است تا با استفاده از یادگیری بدون نظارت، رهبران صنعت خودروهای خودکار را جهش دهد.
بسیاری از محققان، یادگیری بدون نظارت را کلید توسعه هوش مصنوعی تا محدوده هایی در سطح انسان می دانند. به گفته LeCun ، تسلط بر یادگیری بدون نظارت "بزرگترین چالش در یادگیری ماشین و هوش مصنوعی در چند سال آینده است. "
2- یادگیری فدراتیو
یکی از چالش های اساسی عصر دیجیتال حریم خصوصی داده ها است. از آنجا که داده ها نیروی حیاتی هوش مصنوعی مدرن هستند، مسائل مربوط به حریم خصوصی داده ها نقشی مهم (و اغلب محدود کننده) در مسیر هوش مصنوعی دارند.با این وجود انواع هوش مصنوعیِ همراه با حفظ حریم خصوصی - روشهایی که مدلهای هوش مصنوعی را قادر می سازند بدون اینکه حریم خصوصی داده ها را به خطر بیندازند، از مجموعه داده ها بیاموزند - در حال تبدیل شدن به فعالیتی به طور فزاینده مهم هستند. شاید امیدوار کننده ترین رویکرد برای هوش مصنوعی حافظ حریم خصوصی، یادگیری فدراتیو باشد.
مفهوم یادگیری فدراتیو برای اولین بار توسط محققان در اوایل سال 2017 در Google شکل گرفت. در طول سال گذشته، علاقه به یادگیری فدراتیو افزایشی انفجاری داشت: بیش از 1000 مقاله تحقیقاتی در مورد یادگیری فدراتیو در شش ماه اول سال 2020 منتشر شد، در حالی که فقط 180 تا در کل 2018 منتشر گردید.
رویکرد استاندارد امروزه‌ی ساخت مدل های یادگیری ماشین، جمع آوری تمام داده های آموزش در یک مکان، اغلب در فضای ابری، و سپس آموزش مدل بر روی داده ها است. یادگیری بدون نظارت رویکردی برای هوش مصنوعی است که در آن الگوریتم ها از اطلاعات بدون برچسب یا بدون راهنمایی های ارائه شده توسط انسان یاد می گیرند. اما این روش برای بسیاری از داده های جهان عملی نیست، که به دلایل حریم خصوصی و امنیتی نمی توانند به مخزن مرکزی داده تبدیل شوند. این امر باعث محدودیت استفاده از روشهای سنتی هوش مصنوعی می شود.
یادگیری فدراتیو ، این مشکل را حل می کند.
به جای اینکه برای آموزش یک مدل به یک مجموعه داده واحد احتیاج داشته باشید، یادگیری فدراتیو داده ها را در همان جایی که هست، توزیع شده در دستگاه ها و سرورهایی بیشمار، رها می کند. در عوض، بسیاری از نسخه های مدل ارسال می شوند - یکی به هر دستگاه دارای داده آموزش - و به صورت محلی در مورد هر زیر مجموعه داده آموزش می بینند. سپس پارامترهای مدل حاصل، اما نه خود داده های آموزشی، دوباره به ابر ارسال می شوند. وقتی همه این "مدلهای کوچک" جمع شوند، نتیجه یک مدل کلی است که عملکرد آن به گونه ای است که گویا بطور همزمان روی کل مجموعه داده آموزش داده شده است.
مورد اصلی استفاده از یادگیری فدراتیو، آموزش مدل های هوش مصنوعی بر روی داده های شخصی توزیع شده در میلیاردها دستگاه تلفن همراه بود. همانطور که آن محققان خلاصه کردند: "دستگاه های تلفن همراه مدرن به انبوهی از داده های مناسب برای مدل های یادگیری ماشین دسترسی دارند ... با این حال، این داده های غنی غالباً به حریم خصوصی حساس هستند، یا کمیت زیادی دارند یا هر دو، که این ممکن است از ورود آنها به مرکز داده جلوگیری کند. .... ما از گزینه دیگری طرفداری می کنیم که داده های آموزشی را در دستگاه های تلفن همراه توزیع می کند و با جمع آوری به روزرسانی های محاسبه شده محلی، یک مدل مشترک را می آموزد. "
اخیراً، مراقبت های بهداشتی به عنوان یک زمینه امیدوار کننده ویژه برای استفاده از یادگیری فدراتیو ظاهر شده است.
مشخص است که چرا. از یک طرف، تعداد بسیار زیادی از موارد ارزشمند استفاده از هوش مصنوعی در مراقبت های بهداشتی وجود دارد. از طرف دیگر، داده های مراقبت های بهداشتی، به ویژه اطلاعات قابل شناسایی شخصی بیماران، بسیار حساس است. مجموعه ای از مقررات مانند HIPAA استفاده و حرکت در اطلاعات قابل شناسایی شخصی بیماران را محدود می کند. این واقعیت که انسان قبل از استفاده از مدل های یادگیری ماشین باید داده ها را با دست برچسب گذاری کند، به یک گلوگاه اصلی در هوش مصنوعی تبدیل شده است. یادگیری فدراتیو می تواند محققان را قادر سازد ابزارهای هوش مصنوعی مراقبت های بهداشتی زندگی بخش را توسعه دهند بدون اینکه سوابق حساس سلامتی را از منبع خود منتقل کنند یا آنها را در معرض نقض حریم خصوصی قرار دهند.
انبوهی از شرکتهای نوپا ظهور پیدا کرده اند تا یادگیری فدراتیو را در مراقبت های بهداشتی دنبال کنند. مستقرترین آنها اوکین در پاریس است. بازیکنان مرحله اول شاملLynx.MD ، Ferrum Health و Secure AI Labs هستند.
فراتر از مراقبت های بهداشتی، یادگیری فدراتیو ممکن است روزی نقشی اساسی در توسعه هر برنامه هوش مصنوعی که شامل داده های حساس باشد داشته باشد: از خدمات مالی گرفته تا وسایل نقلیه خودگردان، و از موارد استفاده دولت گرفته تا انواع محصولات مصرفی. همراه با سایر تکنیک های حفظ حریم خصوصی مانند حریم خصوصی افتراقی و رمزگذاری همومورفیک، آموزش فدراتیو ممکن است کلید باز کردن قفل پتانسیل عظیم هوش مصنوعی را فراهم کند در حالی که چالش خاردار حریم خصوصی داده ها را تخفیف می دهد.
موج قانون گذاری حریم خصوصی داده ها که امروز در سراسر جهان تصویب می شود (شروع با GDPR وCCPA ، با بسیاری از قوانین مشابه در آینده نزدیک) فقط نیاز به این روش های حفظ حریم خصوصی را تسریع می کند. انتظار داشته باشید که یادگیری فدراتیو در سالهای آینده به بخشی مهم از پشته فناوری هوش مصنوعی تبدیل شود.
3- مبدلها
ما برای پردازش زبان طبیعی وارد دوره ای طلایی شده ایم.انتشار OpenAI از GPT-3، قدرتمندترین مدل زبانی که تاکنون ساخته شده است، دنیای فناوری را در این تابستان مجذوب خود کرد. این مدل، استاندارد جدیدی را در NLP تعیین کرده است: این مدل می تواند شعرهای چشمگیری بنویسد، کد عملکرد تولید کند، یادداشت های تجاری متفکرانه ای بنویسد، مقالاتی درباره خودش بنویسد و موارد دیگر.
GPT-3 آخرین (و بزرگترین) نمونه در رشته ای از مدل های NLP است که به گونه ای مشابه هم معماری شده اند - این رشته شامل این موارد است: BERTگوگل، OpenAI از GPT-2 ، RoBERTa فیس بوک و دیگران - که در حال تعریف مجدد آنچه در NLP امکان پذیر است، هستند.
پیشرفت اصلی فناوری در زمینه این انقلاب در هوش مصنوعی زبان، مبدل یا ترانسفورمر است.
مبدلها در یک مقاله تحقیقاتی برجسته 2017 معرفی شدند. قبلاً، پیشرفته ترین روش های NLP همه براساس شبکه های عصبی مربوطه (مثلاًLSTM ها) ساخته شده بودند. بر طبق تعریف، شبکه های عصبی مکرر داده ها را به ترتیب (یعنی هر بار یک کلمه) به ترتیب ظاهر کلمات پردازش می کنند.
نوآوری بزرگ مبدلها این است که با آنها پردازش زبان به موازات هم انجام می شود: تمام نشانه های گزینه مشخصی از متن به صورت همزمان تجزیه و تحلیل می شوند تا به صورت متوالی. برای پشتیبانی از این موازی سازی، مبدلها بسیار به مکانیزم هوش مصنوعی معروف به توجه متکی هستند. توجه، به مدل اجازه می دهد تا روابط بین کلمات را بدون در نظر گرفتن فاصله آنها از یکدیگر بررسی کند و تعیین کند کدام کلمات و عبارات در یک متن مهم ترین "توجه" را می طلبند.
چرا موازی سازی اینقدر ارزشمند است؟ زیرا مبدلها را از نظر محاسباتی بسیار کارآمدتر ازRNN ها می سازد، بدین معنی که می توان آنها را روی مجموعه داده های بسیار بزرگتر آموزش داد. GPT-3 تقریباً در 500 میلیارد کلمه آموزش دیده است و از 175 میلیارد پارامتر تشکیل شده است و این هر موجود RNN را ناچیز می کند.
مبدلها به لطف موفقیت مدل هایی مانند GPT-3 تا به امروز تقریباً منحصراً با NLP مرتبط بوده اند. اما در همین ماه، مقاله جدید پیشگامانه ای منتشر شد که با موفقیت مبدلها را در بینایی رایانه اعمال می کند. پنج سال بعد، زمینه هوش مصنوعی بسیار متفاوت از امروز خواهد بود. در آن زمان روشهایی که در حال حاضر پیشرفته در نظر گرفته می شوند منسوخ می شوند و روشهایی که امروزه نوپا یا در حاشیه هستند، جریان اصلی خواهند بود. بسیاری از محققان هوش مصنوعی معتقدند که این کار می تواند دوره جدیدی را در بینش رایانه پیش بینی کند. (آنطور که اوریول وینالز ، محقق مشهور یادگیری ماشین به سادگی بیان کرد: "برداشت من این است: خداحافظ پیچیدگیها.")
در حالی که شرکت های برجسته هوش مصنوعی مانند گوگل و فیس بوک شروع به تولید مدل های مبتنی بر مبدل کرده اند، اکثر سازمان ها در مراحل اولیه تولید و تجاری سازی این فناوری هستند. OpenAI اعلام کرده است که قصد دارد GPT-3 را از طریق API به صورت تجاری در دسترس قرار دهد، که می تواند کل اکوسیستم استارت آپ هایی را ایجاد کند که برنامه هایی را بر فراز آن ایجاد می کنند.
منتظر این باشید که مبدلها به عنوان پایه ای برای نسل جدیدی از توانایی های هوش مصنوعی در سال های آینده، با زبان طبیعی، عمل کنند. همانطور که دهه گذشته در زمینه هوش مصنوعی هیجان انگیز بوده است، شاید ثابت شود که این فقط یک مقدمه برای دهه پیش رو است.
منبع: راب تووز، Forbes