تولید داده‌های حسی متقابل برای درک بصری - لمسی روباتیک

توسط Ingrid Fadelli

 
توضیح تصویر: تبدیل یک تصویر لمسی به یک تصویر بصری.
 
درک یک شی‌ء فقط به صورت بصری (به عنوان مثال از روی یک صفحه) و یا تنها با لمس کردن آن، گاهی اوقات تمام آن چه که ما در مورد آن می‌توانیم بفهمیم را محدود می‌کند. انسانها، با این حال، با استفاده از داده‌های حس‌گر در دسترس برای تکمیل کارهای روزانه خود، دارای توانایی ذاتی برای ادغام محرک‌های بصری و لمسی هستند.
 
محققان دانشگاه لیورپول اخیراً یک چارچوب جدید برای تولید داده‌های حسی متقابل ارائه دادند که می‌تواند به تکرار هر دو اطلاعات تصویری و لمسی در شرایطی که یکی از آنها به طور مستقیم قابل دسترسی نیست، منجر شود. به عنوان مثال، چارچوب آنها می‌تواند به مردم امکان دهد که اشیا را بر روی یک صفحه (مثلا اقلام لباس در سایت‌های تجارت الکترونیک را) به هر دو صورت بصری و لمسی درک ّکنند. اگر روبات قادر به ادغام ادراک بصری و لمسی بود، می توانستند استراتژی‌های گرفتن و دستکاری آنها را به طور موثر بر اساس ویژگی‌های بصری اشیائی که با آنها کار می کنند (مانند شکل، اندازه، و غیره) برنامه ریزی کنند.
 
دکتر شان لو، یکی از محققانی که این مطالعه را انجام داد، به "TechXplore" گفت: "در تجربه روزانه ما می‌توانیم شناختی از یک شیء بر اساس پاسخ لمسی یا یک پاسخ لمسی از مشاهده یک بافت سطحی آن ایجاد کنیم." این پدیده ادراکی، سینتسه نامیده می‌شود، که در آن تحریک یک حس باعث واکنش غیرمستقیم در یک یا چند حوزه دیگر می‌شود، و برای ایجاد یک حس غیرقابل دسترس استفاده می‌شود. برای مثال، زمانی که یک جسم را می‌گیریم، دست ما مانع دیدن آن می‌شود، اما پاسخ لمسی برای دیدن ویژگی‌های مربوطه آن ایجاد می‌شود."
 
پدیده ادراکی توصیف شده توسط دکتر لو معمولا زمانی اتفاق می‌افتد که یک منبع درک در دسترس نباشد (به عنوان مثال هنگام لمس کردن اشیاء داخل کیسه بدون اینکه آنها را ببینند). در چنین شرایطی، انسانها ممکن است "لمس کنند تا ببینند" یا "احساس می‌کنند"، که تفسیر ویژگی‌های مربوط به یک حس خاص بر اساس اطلاعات جمع آوری شده با استفاده از حس‌های دیگر است. اگر این واقعیت در ماشین‌ها تکرار شود، این مکانیزم بصری - لمسی می‌تواند چندین کاربرد جالب توجه داشته باشد، مخصوصا در زمینه روباتیک و تجارت الکترونیک.
 
اگر روبات قادر به ادغام ادراک بصری و لمسی بود، می توانستند استراتژی‌های گرفتن و دستکاری آنها را به طور موثر بر اساس ویژگی‌های بصری اشیائی که با آنها کار می کنند (مانند شکل، اندازه، و غیره) برنامه ریزی کنند. به عبارت دیگر، روباتها قبل از گرفتن اشیا، با استفاده از اطلاعات بصری جمع آوری شده توسط دوربین‌ها، ویژگی های لمسی کلی اشیا را درک می‌کردند. از سوی دیگر، با گرفتن شیئی خارج از میدان دید دوربین، از پاسخهای لمسی مشابه برای کمبود اطلاعات بصری در دسترس استفاده می‌کنند.
 
اگر با یک دستگاه لمسی جفت و جور شود (که البته هنوز توسعه نیافته است)، چارچوب پیشنهاد شده توسط دکتر لو و همکارانش همچنین می‌تواند در تجارت الکترونیک مورد استفاده قرار گیرد، به عنوان مثال، اجازه می‌دهد مشتریان احساس پارچه را قبل از خرید آن داشته باشند. با داشتن این کاربرد در ذهن، محققان از شبکه‌های متخاصم تولیدی مشروط تولید تصاویر بصری کاذب با استفاده از داده‌های لمسی و برعکس استفاده کردند (به عنوان مثال تولید خروجی‌های لمسی با استفاده از داده‌های تصویری). با اجازه دادن به کاربران برای احساس اقلام در خانه، با استفاده از یک دستگاه لمسی است که هنوز قرار است توسعه داده شود، طرح تولید داده‌های حسی متقابل، پیشنهاد شده در مقاله ما، می‌تواند به مشتریان تجارت الکترونیک کمک کند تا انتخاب های آگاهانه‌تر داشته باشند.
 
دکتر لو می‌گوید: "در بازار‌های آنلاین، مشتریان با دیدن تصاویری از لباس‌ها و موارد دیگر، خرید می‌کنند." "با این حال، آنها قادر به لمس کردن این موارد برای احساس مواد خود نیستند. احساس خرید یک مورد بسیار مهم در هنگام خرید است، به ویژه هنگام خرید اقلام ظریف مانند لباس زیر. با اجازه دادن به کاربران برای احساس اقلام در خانه، با استفاده از یک دستگاه لمسی است که هنوز قرار است توسعه داده شود، طرح تولید داده‌های حسی متقابل، پیشنهاد شده در مقاله ما، می‌تواند به مشتریان تجارت الکترونیک کمک کند تا انتخاب های آگاهانه‌تر داشته باشند. "
 
دکتر لو و همکارانش مدل خود را در مجموعه داده‌های VITac که شامل تصاویر ماکرو و خواندن لمسی (با استفاده از یک سنسور GelSight) از 100 نوع مختلف پارچه است که مورد ارزیابی قرار می‌گیرند، تست کردند. آنها دریافتند که می‌تواند به طور موثر خروجی‌های حسی برای یک حس (به عنوان مثال بینایی یا لمس) را با استفاده از داده‌های مربوط به حس دیگر پیش بینی کند.
 
دکتر لو توضیح داد: "ما به عنوان نمونه، درک بافت را در نظر می‌گیریم: تصاویر ورودی بصری از بافت پارچه برای تولید خواندن شبه لمسی از همان قطعه پارچه استفاده می‌شود؛ برعکس، خواندن لمسی از یک پارچه برای پیش بینی یک تصویر بصری از همان پارچه استفاده می‌شود." "بافت پارچه، یعنی الگوهای توزیع نخ، به شکلی مشابه در یک تصویر بصری و نیز خواندنِ توزیع فشار (یعنی لمس) به نظر می‌رسد. با این حال، این کار همچنین می‌تواند برای دست یابی به تولید داده‌های متمایز بصری - لمسی برای ادراک، با استفاده از خواص دیگر شیء با در نظر گرفتن تفاوت بین دو حوزه، گسترش یابد." ما می‌توانیم از حس‌های دیگر استفاده کنیم تا یک حس غیرقابل دسترس را درک کنیم.
مطالعه انجام شده توسط دکتر لو و همکارانش نتایج قابل توجهی در تولید الگوهای واقعی لمسی و بصری برای پارچه‌های مختلف در صورت عدم اطلاعات مستقیم بصری یا لمسی به دست آورد. با استفاده از چارچوب آنها، محققان با موفقیت با استفاده از داده‌های تصویری، عناصر لمسی از پارچه‌های تکراری را باز تولید کردند، و بالعکس.
دکتر لئو گفت: "بر طبق بهترین دانش‌های ما، این کار اولین تلاش برای دستیابی به داده های متمایز بصری - لمسی متقابل روباتیک است که می‌تواند به تولید داده‌های متقابل حسی برای سایر روش‌ها گسترش یابد." "مفاهیم عملی مطالعه ما این است که ما می‌توانیم از حس‌های دیگر استفاده کنیم تا یک حس غیرقابل دسترس را درک کنیم."
 
در آینده، چارچوب پیشنهاد شده توسط دکتر لو و همکارانش می‌تواند برای بهبود رویکرد‌های درک و دستکاری در روبات‌ها و همچنین افزایش تجارب خرید آنلاین مورد استفاده قرار گیرد. از روش آنها همچنین می‌توان برای گسترش مجموعه‌های داده‌  برای طبقه بندی وظایف، با تولید داده‌های حسی که در غیر این صورت غیر قابل دسترس بودند، استفاده کرد.
 
دکتر لو گفت: "در تحقیقات آینده، ما سعی خواهیم کرد روش خود را برای تعدادی از وظایف مختلف مانند طبقه بندی بصری و لمسی در محیط دنیای واقعی با اشیائی که در ظاهر متفاوت هستند (مثلاً در شکل، رنگ و غیره) اعمال کنیم. علاوه بر این، روش تولید داده‌های بصری - لمسی پیشنهاد شده برای تسهیل وظایف روباتیک، مانند گرفتن و دستکاری استفاده می‌شود."
 
بر گرفته از سایت TechXplore

مترجم: علی رضایی میر قائد