یک روش حافظه مولد برای مقدور ساختن تقویت عمری یادگیری

توسط Ingrid Fadelli، Tech Xplore
 

اعتبار: راغوان، Hostetler & Chai.
یک محدودیت کلیدیِ سیستم های هوش مصنوعی موجود (AI) این است که آنها قادر به عهده داری وظایفی نیستند که برای آنها آموزش ندیده اند. در حقیقت، حتی زمانی که آنها مجددا آموزش داده می شوند، اکثر این سیستم ها مستعد «فراموشی فاجعه آمیز» هستند، که اساسا بدان معنی است که یک مورد جدید می تواند دانش قبلا به دست آمده خود را مختل کند.
 
به عنوان مثال، اگر یک مدل در ابتدا برای تکمیل کار A آموزش داده شده باشد و سپس بعدا بر روی وظیفۀ B بازآموزش داده شود، عملکرد آن در وظیفه A می تواند به میزان قابل توجهی کاهش یابد. یک راه حل ساده، افزودن لایه های عصبی به صورت بی نهایت برای حمایت از وظایف اضافی یا موارد آموزش دیده است، اما چنین رویکردی کارآمد نخواهد بود و یا حتی مقیاس پذیری کارکردی ندارد. ما در حال ایجاد یک نسل جدید از سیستم های AI هستیم که می توانند از تجربیات یاد بگیرند.
 
محققان SRI International اخیرا سعی کرده اند مکانیسم های انتقال حافظه بیولوژیکی به سیستم های AI را اعمال کنند، زیرا آنها معتقدند این می تواند عملکرد آنها را افزایش دهد و آنها را بیشتر سازگار کند. مطالعه آنها، که از قبل در ArXiv منتشر شده، الهام بخش مکانیسم انتقال حافظه در انسان ها، مانند حافظه بلند مدت و کوتاه مدت است.
 
Sek Chai، یکی از همکاران PI پروژه DARPA برای ساخت دستگاه های یادگیری طول عمری (L2M)، به TechXplore گفت: "ما در حال ایجاد یک نسل جدید از سیستم های AI هستیم که می توانند از تجربیات یاد بگیرند." "این بدان معنی است که آنها می توانند به سناریوهای جدید مبتنی بر تجربیات خود بپیوندند. امروزه سیستم های AI از کار افتاده اند زیرا آنها با همه شرایط سازگار نیستند. پروژه DARPA L2M تحت هدایت دکتر Hava Siegelmann به دنبال دستیابی به پیشرفت های پارادایمی در قابلیت های AI است."
 

 

 
اعتبار: راغوان، Hostetler & Chai.

انتقال حافظه مستلزم دنباله ای پیچیده از فرآیندهای پویا است که به انسان اجازه می دهد تا به راحتی در هنگام تفکر، برنامه ریزی، ایجاد یا پیش بینی رویدادهای آینده به خاطرات برجسته یا مرتبط دسترسی پیدا کند. تصور می‌شود که خواب نقش مهمی در تحکیم خاطرات بازی می‌کند، به ویژه خواب REM، که در آن اغلب رویا اتفاق می افتد. چنین رویکردی از مکانیسم های بیولوژیکی در خواب و رویاها الهام گرفته شده است، جایی که ما بخش هایی از تجربیاتی که در خاطرات طولانی مدت ما تقویت می شود را یادآوری یا تصور می کنیم.
 
در مطالعه خود، چای و همکارانش در SRI یک مکانیزم حافظه سازنده را ایجاد کرده اند که می تواند برای آموزش سیستم های AI به شیوه ای شبیه به تمرین استفاده شود. با استفاده از بازیابی و تقویت یادگیری (RL)، این مکانیزم اجازه می دهد تا سیستم های AI از خاطرات برجسته در طول عمر خود یاد بگیرند و با تعداد زیادی از کارها یا موارد آموزشی تمرین کنند. رویکرد حافظه تولید شده توسط Chai و همکارانش از یک روش رمزگذاری برای جدا کردن فضای پنهان استفاده می کند. این اجازه می دهد تا یک سیستم هوش مصنوعی یاد بگیرد حتی زمانی که وظیفه به درستی تعریف نشده یا زمانی که تعداد وظایف ناشناخته است کار کند.
 
Chai توضیح داد: "سیستم AI ما مستقیماً داده های خامی مانند ویدئو، صدا و غیره را ذخیره نمی کند. در عوض، ما از حافظه مولد برای تولید یا تصور آنچه قبلا تجربه کرده ایم استفاده می کنیم. سیستم های AI تولیدی برای ایجاد هنر، موسیقی و غیره استفاده می شود. در این تحقیق ما از آنها برای رمزگذاری تجربیات مولد استفاده می کنیم که می تواند بعدا با یادگیری تقویت شود. چنین رویکردی از مکانیسم های بیولوژیکی در خواب و رویاها الهام گرفته شده است، جایی که ما بخش هایی از تجربیاتی که در خاطرات طولانی مدت ما تقویت می شود را یادآوری یا تصور می کنیم. "
 
در آینده، رویکرد جدید حافظه نسل معرفی شده توسط Chai و همکارانش می تواند به حل مسئله فراموش نشدن فاجعه آمیز در مدل های مبتنی بر شبکه عصبی کمک کند، و این باعث می شود تا یادگیری مادام العمر در سیستم های AI به وجود آید. محققان اکنون روش خود را در بازی های رایانه ای مبتنی بر رایانه هایی که معمولا برای آموزش و ارزیابی سیستم های AI استفاده می شوند، تست می کنند.
 
چای گفت: "ما از بازی های استراتژیِ بلادرنگ مانند StarCraft2 برای آموزش و بررسی عوامل موثر در یادگیری مادام العمر مانند سازگاری، قابلیت اطمینان و ایمنی استفاده می کنیم. " عوامل AI ما با شگفتی تزریق شده به بازی آموزش داده می شود (به عنوان مثال تغییر موقعیت زمین و واحد)."
 

 

اعتبار: Zimmer، Boniface، و Dutech.

محققان دانشگاه لورین اخیرا نوع جدیدی از انتقال یادگیری را بر مبنای یادگیری تقویت عمیق مدل سازی با افزایش فضای حسگر حرکتی پیشرفته طراحی کرده اند. رویکرد آنها، ارائه شده در یک مقاله منتشر شده در هشتمین کنفرانس بین المللی IEEE بین المللی توسعه و یادگیری و در رباتیک اپی ژنتیک و آزادانه در دسترس در آرشیو OUVERT HAL، از توسعه کودک الهام گرفته شده است، به ویژه با رشد فضای حسی و حرکتی که رخ می دهد می‌توان به عنوان یک فرزند، استراتژی های مفید جدیدی به دست آورد. روش یادگیری انتقال پیشنهاد شده توسط Zimmer و همکارانش لایه های توسعه را به شبکه های عصبی اضافه می کند و به آنها اجازه می دهد تا استراتژی های جدیدی را برای تکمیل وظایف ایجاد کنند
 
Matthieu Zimmer، یکی از محققانی که این مطالعه را انجام داد، گفت: "چارچوب رسمی یادگیری تقویت می تواند برای مدل سازی طیف وسیعی از مشکلات مورد استفاده قرار گیرد." "در این چارچوب، یک عامل از روش آزمایش و خطا استفاده می کند تا به آهستگی یاد بگیرد که کدام دنباله ای از اقدامات مناسب برای رسیدن به یک هدف مطلوب است. اگر برخی از الزامات رفع شود، نظریه به ما می گوید که ما الگوریتمی داریم که عامل می تواند برای پیدا کردن راه حل بهینه برای حل مشکل استفاده شود، اما این می تواند طولانی مدت باشد. برای سرعت بخشیدن به این فرآیند، ما روش هایی را برای یک عامل برای دستیابی به کارایی مطلوب در محدودیتهای کمتری کشف کردیم، حتی زمانی که تقریبا هیچ دانش کاری از کار را نداشته باشیم.
 
روش یادگیری انتقال پیشنهاد شده توسط Zimmer و همکارانش لایه های توسعه را به شبکه های عصبی اضافه می کند و به آنها اجازه می دهد تا استراتژی های جدیدی را برای تکمیل وظایف ایجاد کنند، به ویژه هنگامی که این وظایف به نحوی به هم مرتبط هستند. این لایه های پیشرفت به دنبال انگیزش ذاتی اکتشافی به تدریج برخی از ابعاد فضاهای حسگر حرکتی را دنبال می کنند.
 
 برگرفته از سایت TechXplore
 

مترجم: علی رضایی میر قائد