تصویر: حداقل 22 نفر در روزهای پس از جاری شدن سیل ناگهانی در جوامع تنسی در آگوست 2021 مفقود شده بودند. AP Photo/Mark Humphrey

هنگام طوفان، سیل ناگهانی و سایر بلایا، فرستادن واکنشگران اولیه بسیار خطرناک است، حتی اگر مردم به شدت به کمک نیاز داشته باشند.
سیستم هر ناحیه انتخاب شده را مورد بررسی قرار می دهد تا اطلاعاتی در مورد شکل، ساختار و بافت اجسام آن جا به دست آورد. هنگامی که مجموعه ای از ویژگی های منطبق با یک انسان یا قسمتی از انسان را تشخیص می دهد، آن مکان را پرچم گذاری می کندامدادگران در برخی موارد از هواپیماهای بدون سرنشین استفاده می کنند، اما اکثر آنها به خلبانان فردی نیاز دارند که با کنترل از راه دور هواپیمای بدون سرنشین را پرواز می دهند. این امر باعث محدودیت در این امر می شود که نجات دهندگان بتوانند به سرعت کل منطقه آسیب دیده را مشاهده کنند و می تواند کمک ها را برای رسیدن به قربانیان به تاخیر بیندازد.

هواپیماهای بدون سرنشین خودگردان می توانند زمین های بیشتری را سریع تر پوشش دهند، و به ویژه ممکن است بتوانند افراد نیازمندِ کمک را شناسایی کرده و به تیم های امدادی اطلاع دهند.

من و تیمم در آزمایشگاه بینایی دانشگاه دیتون در حال طراحی این سیستم های خودگردان آینده هستیم تا در نهایت به افرادی که ممکن است در معرض آوار باشند، کمک کنیم. فناوری چند سنسوره ما رفتار نجاتگران انسانی را برای بررسی عمیق مناطق وسیع و انتخاب سریع مناطق خاص برای تمرکز، بررسی دقیق تر و تعیین این که آیا کسی به کمک نیاز دارد، تقلید می کند.

فناوری یادگیری عمیقی که ما از آن استفاده می کنیم ساختار و رفتار مغز انسان را در پردازش تصاویر گرفته شده توسط سنسورهای دو بعدی و سه بعدی تعبیه شده در هواپیماهای بدون سرنشین تقلید می کند، و قادر به پردازش مقادیر زیادی داده به طور همزمان برای تصمیم گیری به صورت بلادرنگ است.

به دنبال یک شیء در یک صحنه آشفته
مناطق فاجعه اغلب مملو از درختان سقوط کرده، ساختمان های فروریخته، جاده های متلاشی شده و سایر بی نظمی هایی است که می تواند تشخیص قربانیانِ نیازمند نجات را بسیار دشوار کند. فناوری حسگر لیدار سه بعدی که از پالس های نور استفاده می کند، می تواند اجسام پنهان شده توسط درختان پوشاننده را تشخیص دهد.
این سیستم همچنین می تواند برای تشخیص و مکان یابی کردن یک پا که از زیر آوار بیرون آمده است، دستی که از راه دور دست تکان می دهد، یا سری که در بالای توده ای از بلوک های چوبی ظاهر می شود، آموزش داده شود. این می تواند یک فرد یا حیوان را جدا از درخت، بوته یا وسیله نقلیه تشخیص دهد.

تصویر: معلوم کردن افراد در محیط های شلوغ. آزمایشگاه بینایی دانشگاه دیتون، CC BY-ND

تیم تحقیقاتی من یک سیستم شبکه عصبی مصنوعی ایجاد کرد که می تواند در رایانه روی هواپیمای بدون سرنشین کار کند. این سیستم برخی از شیوه های عملکرد بینایی انسان را تقلید می کند. این سیستم تصاویر گرفته شده توسط سنسورهای هواپیمای بدون سرنشین را تجزیه و تحلیل کرده و یافته های قابل توجه را به ناظران انسانی منتقل می کند.
ارائه های شکل توسط افراد از اجسام ناآشنا احتمالاتی، سه بعدی و شیء محور است.ابتدا، سیستم، تصاویر را برای بهبود وضوح شان پردازش می کند. با استفاده از همان روشی که انسان برای تنظیم فوکوس، چشمان خود را لوچ می کند، این فناوری برآورد دقیق مناطق تاریک تر در یک صحنه را انجام می دهد و به طور محاسباتی تصاویر را روشن می کند.

در یک محیط بارانی، مغز انسان از یک استراتژی درخشان برای مشاهده واضح استفاده می کند: با توجه کردن به قسمت هایی از یک صحنه که با بارش قطرات باران تغییر نمی کند، مردم می توانند به گونه ای معقولانه خوب، با وجود بارش باران، ببینند. فناوری ما از همان استراتژی استفاده می کند و به طور مداوم محتویات هر مکان را در یک دنباله از تصاویر مورد بررسی قرار می دهد تا اطلاعات واضحی در مورد اشیاء در آن مکان به دست آورد.

به راستی چرا می توانیم باران را ببینیم؟

از پنجره دفترم به زیر باران شدید خیره شده ام. من فکر می کنم که قطرات باران مانند عدسی های کوچکی هستند که نور را خم می کنند. بنابراین من تعجب می کنم که می توانم ساختمان های دیگر را از میان پنجره به وضوح ببینم

بنابراین ، چرا ما می توانیم از میان باران ببینیم؟ آیا تراکم قطرات باران خیلی کم است؟

درک شکل اجسام ناآشنا را می توان به عنوان استنباط آماری از شکل سه بعدی در یک سیستم مختصات شیء محور توصیف کرد.

به قسمتی از پاسخ های معمول داده شده توسط مردم در مقایسه با نتیجه گیری فوق الذکر مان توجه کنید:

* سعی کنید با هواپیما زیر باران پرواز کنید. دید کاملاً از بین می رود - جایی که می توانید کیلومترها را در یک روز روشن ببینید ، خوش شانس هستید که شاید چند هزار پا یا کمتر را در یک روز مه آلود یا بارانی ببینید. مه و ابر در واقع بدتر است زیرا قطرات به صورت کوچک تر و محکم تر پراکنده شده اند – و باعث پراکندگی بیشتر در اتمسفر می شوند تا قطرات باران بزرگ تر و با فاصله بیشتر.

* بسیاری از فوتون هایی که از اجسام مجاور می آیند بدون برخورد با قطره باران به سوی چشم شما حرکت می کنند. با این حال، فوتون هایی که از اجسام دورتر حرکت می کنند، قبل از رسیدن به شما شانس بیشتری برای برخورد با قطره باران دارند. این باعث می شود اجسام دورتر کم نورتر یا دشوارتر دیده شوند.

* وقتی باران را می بینید، عموماً منظره ای ثابت از پس زمینه مشاهده می کنید، اما اگر مسیرهای نوری را از میان قطره باران، دنبال کنید، متوجه خواهید شد که هر قطره نور را نه تنها از پس زمینه، بلکه از بالا و پایین، به سمت شما هدایت می کند. گویی بینایی شما از پیکسل های متعددی تشکیل شده است که نه تنها شامل آن چیزی است که از جهت مورد نظر خود می بینید، بلکه شامل جهات دیگری که نگاه شما به آن ها معطوف نشده است نیز می شود. این ممکن است تا حدی ماهیت مه آلود آن چه را که در باران شدید می بینیم توضیح دهد.
در یک محیط بارانی، مغز انسان از یک استراتژی درخشان برای مشاهده واضح استفاده می کند: با توجه کردن به قسمت هایی از یک صحنه که با بارش قطرات باران تغییر نمی کند، مردم می توانند به گونه ای معقولانه خوب، با وجود بارش باران، ببینند. فناوری ما از همان استراتژی استفاده می کند و به طور مداوم محتویات هر مکان را در یک دنباله از تصاویر مورد بررسی قرار می دهد. * این ایده در مورد فوتون هایی که از جهات دیگری می آیند درست است و قطرات باران به دلیل اثرات پراش برای ما کاملاً مات هستند.

* دیدن اجسام دور در باران سخت تر است. با افزایش تراکم اجسام مات، کنتراست تصویر کاهش می یابد. این به دلیل عملکرد انتقال مدولاسیون چشم است.

* از آن جا که بین قطرات باران فاصله وجود دارد، برخی از اشعه های نور بدون برخورد با قطره باران از ساختمان به چشم شما منتقل می شوند. برخی از اشعه های دیگر نور هنگام برخورد با قطرات باران به طور تصادفی پراکنده می شوند. مغز شما ساختمان را از طریق مه می بیند زیرا نور پراکنده همیشه همان تصویر را از ساختمان منتقل می کند در حالی که نور پراکنده ماهیتی تصادفی دارد. مغز شما می داند چه چیزی واقعی است و چه چیزی را فقط باران پراکنده می کند زیرا آن چه واقعی است دائماً در آن جا وجود دارد.

* پاسخ تکاملی ممکن است این باشد که توانایی تصفیه باران (در مغز یا چشم یا هر چیز دیگری) دارای مزیت تکاملی است. از آن جایی که از نظر فیزیکی و بیولوژیکی امکان پذیر است، این توانایی، با همان اصولی که چشم های پیشرفته را تکامل داده است که قادر به ایجاد تصاویر واضح در هوای روشن هستند، تکامل یافته است. این باعث می شود از خود بپرسیم که آیا همه حیوانات از میان باران می بینند، یا این که برخی نمی بینند.

* دوربین ها و سیستم های ساده بینایی کامپیوتری نیز می توانند از میان باران مشاهده کنند. در حالی که ممکن است حیواناتی وجود داشته باشند که نتوانند باران را ببینند، اما این دیدن موفقیت بزرگی نیست زیرا پراکندگی چندان جدی نیست. به عکس، هنوز تفاوت قابل توجهی در روشنایی و رنگ بین درختان و جاده در پس زمینه و با شکل مورد انتظار وجود دارد.

* بخش بسیار مهم دیگر تار شدن، حرکت است. قطرات به حدی سریع هستند که هر قطره در فاصله زمانی چشم بر هم نهادن انسان تا یک متر مسافت را طی می کند. بنابراین قطره هرگز قسمت خاصی از میدان دید شما را به طور کامل پنهان نمی کند ، بلکه فقط بخشی از "زمان نوردهی" بینایی شما را "مسدود" می کند.

فناوری حسگر لیدار سه بعدی که از پالس های نور استفاده می کند، می تواند اجسام پنهان شده توسط درختان پوشاننده را تشخیص دهد.

تأیید موارد مورد علاقه

وقتی امدادگران به جستجوی انسان هایی می پردازند که در مناطق حادثه دیده گرفتار شده اند، ذهن بینندگان تصویری سه بعدی از نحوه ظاهر شدن یک فرد در صحنه تصور می کند. آنها باید بتوانند حضور یک انسان گرفتار را تشخیص دهند حتی اگر قبلاً کسی را در چنین موقعیتی ندیده باشند.

علیرغم چندین دهه تحقیقات، اطلاعات کمی در مورد نحوه تصور بصری افراد از شیء وجود دارد. ما فرض می کنیم که یک رویکرد امیدوار کننده برای درک شکل با یک چارچوب "درک بصری به عنوان استنباط بیزی" ارائه می شود که تأکید بر بازنمایی بصری را با تأکید بر این ایده که درک شکل نوعی استنباط آماری است، افزایش می دهد.

فرضیه ما ادعا می کند که درک شکل اجسام ناآشنا را می توان به عنوان استنباط آماری از شکل سه بعدی در یک سیستم مختصات شیء محور توصیف کرد. ما یک مدل محاسباتی را بر اساس چارچوب نظری خود توصیف می کنیم و شواهدی را برای مدل در دو جهت ارائه می دهیم. اول، نشان می دهیم که، بر خلاف تصور، این مدل وابستگی به دیدگاه تشخیص اشیاء را در نظر می گیرد، که به طور سنتی به عنوان شواهدی علیه استفاده مردم از نمایش های شکل شیء گرا با محوریت سه بعدی در نظر گرفته می شود. دوم، نتایج یک آزمایش را با استفاده از یک وظیفه شباهت شکل گزارش می دهیم و ارزیابی گسترده ای از توانایی مدل های موجود در حسابداری داده های تجربی ارائه می دهیم.

ما دریافتیم که مدل استنتاج شکل ما رفتار افراد را بهتر از مدل های دیگر نشان می دهد. در مجموع، نتایج تجربی و محاسباتی ما نوید رویکرد ما را نشان می دهد و نشان می دهد که ارائه های شکل توسط افراد از اجسام ناآشنا احتمالاتی، سه بعدی و شیء محور است.
فناوری یادگیری عمیقی که ما از آن استفاده می کنیم ساختار و رفتار مغز انسان را در پردازش تصاویر گرفته شده توسط سنسورهای دو بعدی و سه بعدی تعبیه شده در هواپیماهای بدون سرنشین تقلید می کند، و قادر به پردازش مقادیر زیادی داده به طور همزمان برای تصمیم گیری به صورت بلادرنگ است.

تصویر: روشنایی مغشوش کننده و کم نور می تواند شناسایی افراد را دشوار کند. آزمایشگاه بینایی دانشگاه دیتون ، CC BY-ND

ما از این استراتژی با محاسبه مدل های سه بعدی افراد و چرخاندن اشکال در همه جهات استفاده می کنیم. ما ماشین خودگردان را آموزش می دهیم تا دقیقاً مانند یک نجات دهنده انسانی عمل کند. این به سیستم این امکان را می دهد تا افراد را در موقعیت های مختلف، مانند به دمر خوابیده یا حلقه شده در موقعیت جنینی، حتی از زاویه دید متفاوت و در شرایط مختلف نور و آب و هوا تشخیص دهد.

این سیستم همچنین می تواند برای تشخیص و مکان یابی کردن یک پا که از زیر آوار بیرون آمده است، دستی که از راه دور دست تکان می دهد، یا سری که در بالای توده ای از بلوک های چوبی ظاهر می شود، آموزش داده شود. این می تواند یک فرد یا حیوان را جدا از درخت، بوته یا وسیله نقلیه تشخیص دهد.

قرار دادن قطعات در کنار هم
در طی اسکن اولیه چشم انداز، سیستم از رویکرد یک ناظر هوایی تقلید می کند، زمین را برای یافتن اشیاء مورد علاقه یا مناطق مورد نیاز برای بررسی بیشتر مورد بررسی قرار می دهد و سپس با دقت بیشتری جستجو می کند. به عنوان مثال، یک خلبان هواپیما که به دنبال کامیون روی زمین است معمولاً توجه کمتری به دریاچه ها، حوضچه ها، زمین های مزرعه و زمین های بازی می کند، زیرا کامیون ها کمتر در آن مناطق هستند. فناوری خودگردان از همین استراتژی برای متمرکز کردن منطقه جستجو در مهمترین مناطق در صحنه استفاده می کند.

سپس سیستم هر ناحیه انتخاب شده را مورد بررسی قرار می دهد تا اطلاعاتی در مورد شکل، ساختار و بافت اجسام آن جا به دست آورد. هنگامی که مجموعه ای از ویژگی های منطبق با یک انسان یا قسمتی از انسان را تشخیص می دهد، آن مکان را پرچم گذاری می کند، داده های GPS را جمع آوری می کند، و فاصله فرد با سایر اشیاء را حس می کند تا مکان دقیق را ارائه دهد.

کل فرآیند حدود یک پنجم ثانیه طول می کشد.

این همان چیزی است که عملیات جستجو و نجات سریع تر در آینده آن گونه به نظر می رسد. گام بعدی، تبدیل این فناوری به یک سیستم یکپارچه است که می تواند برای واکنش اضطراری به کار گرفته شود.

ما قبلاً با فناوری تحقیقات پزشکی و فرماندهی ارتش ایالات متحده در زمینه فناوری لازم برای یافتن افراد زخمی در میدان جنگ که به نجات نیاز دارند، همکاری کرده ایم. ما همچنین این فناوری را برای کمک به شرکت های تأسیساتی برای نظارت بر تجهیزات سنگین که می توانند به خطوط لوله آسیب برساند، تطبیق داده ایم. این ها تنها تعدادی از راه هایی است که واکنش دهندگان حوادث، شرکت ها یا حتی کشاورزان می توانند از این فناوری بهره مند شوند، که می تواند همان طور که انسان می بیند ببیند، به ویژه در مکان هایی که انسان ها به راحتی نمی توانند به آنها دسترسی داشته باشند.

منبع: ویجیان عصاری، University of Dayton