این فناوری با پیشرفت در بینایی کامپیوتری (computer vision)، قدرت پردازش گرافیکی، فناوری نمایش و سیستم‌های ورودی و خروجی به تصورات و خیالات ما جامه عمل پوشانده است. اصطلاح واقعیت ترکیبی در ابتدا در سال 1994 در مقاله‌ای به نویسندگی پاول میلگرام و فومیو کیشینو تحت عنوان «A Taxonomy of Mixed Reality Visual Displays» معرفی شد. آنها در این مقاله مفهوم پیوستار مَجاز یا زنجیره مجازی (virtuality continuum) را مطرح ساختند. از آن زمان به بعد، کاربرد واقعیت ترکیبی یا آمیخته فراتر از نمایش و نمایشگر پیش رفته است. همچنین ورودی محیطی، صدای سه بعدی و موقعیت مکانی را شامل می‌شود.
پیشرفتهای صورت گرفته در حسگرها و پردازنده‌ها ورودی جدیدی از محیط را به وجود آورده‌اندپیشرفتهای صورت گرفته در حسگرها و پردازنده‌ها ورودی جدیدی از محیط را به وجود آورده‌اند. تعامل میان کامپیوتر و محیط به طور مؤثر درک و دریافت محیطی را می‌رساند. ورودی محیطی، چیزهایی مانند موقعیت یک شخص در دنیا (به عنوان مثال ردیابی سر یا کنترل حرکات سر)، سطوح و مرزها (به عنوان مثال نقشه برداری مکانی و درک صحنه)، نورپردازی محیط، صدای محیطی، تشخیص اشیاء و مکان یابی را ضبط می‌کند.
اکنون ترکیبی از سه مورد پردازش کامپیوتر، ورودی انسان و ورودی محیطی فرصتی را برای ایجاد تجربه‌هایی از واقعیت ترکیبی در اختیار ما قرار می‌دهد. حرکت در میان دنیای فیزیکی می‌تواند به حرکت در دنیای دیجیتال تبدیل شود. مرزهای موجود در دنیای واقعی می‌توانند بر تجربیات کاربردی مانند انجام بازی در دنیای دیجیتال تأثیر بگذارند. بدون ورودی محیطی تجربیات نمی‌توانند میان واقعیتهای فیزیکی و دیجیتال در هم آمیزند.
اکثر واقعیتهای افزوده و مجازی موجود بخش بسیار کمی از این طیف را نشان می‌دهند. با این حال زیر مجموعه طیف بزرگتر واقعیت ترکیبی هستند. ویندوز 10 با استفاده از طیف کامل ذهنی ساخته شده است و امکان ادغام نمونه‌های انسانی، مکانی و اشیاء دیجیتالی را با دنیای واقعی فراهم می‌سازد.
1- دستگاه‌های هولوگرافی: دستگاه‌هایی که دارای قابلیت قرار دادن محتوای دیجیتالی در دنیای واقعی هستند به گونه‌ای که گویی واقعاً در آنجا وجود داشته‌اند.
2- دستگاه‌های ایمرسیو یا غوطه ور ساز: این دستگاه‌ها با قابلیت ایجاد حسی از «حضور» و پنهان ساختن دنیای واقعی و جایگزین کردن آن با یک تجربه دیجیتال مشخص می‌شوند. به طوری که فرد در دنیای مجازی غوطه ور یا غرق می‌شود.
توجه داشته باشید که خواه وسیله‌ای به یک کامپیوتر مجزا (از طریق کابل یو اس بی یا وای فای) متصل شده باشد و خواه بدون نیاز به کامپیوتر و به صورت مجزا باشد نمی‌تواند دلیل بر هولوگرافی یا ایمرسیو بودن آن باشد.
پیشرفت تکنولوژیکی موجب شده است که تجربیات واقعیت ترکیبی امکان پذیر شوندپیشرفت تکنولوژیکی موجب شده است که تجربیات واقعیت ترکیبی امکان پذیر شوند. امروزه هیچ دستگاهی وجود ندارد که بتواند تجربیات را در یک طیف کامل اجرا کند. با این حال، ویندوز 10 پلتفورمی از واقعیت ترکیبی متداول را هم برای تولیدکنندگان و هم توسعه دهندگان دستگاه فراهم ساخته است. دستگاه‌های امروزی می‌توانند محدوده خاصی از طیف واقعیت ترکیبی را پشتیبانی کنند. با گذشت زمان وسایل جدید این محدوده را گسترش خواهند داد. در آینده دستگاه‌های هولوگرافی بیشتر سطح غوطه وری را دارا خواهند شد و دستگاه‌هایی با قابلیت سطح غوطه وری بیشتر هولوگرافی خواهند شد.
اغلب بهترین کار آن است که فکر کنید یک برنامه کاربردی یا توسعه دهنده بازی چه تجربه‌ای را می‌خواهد ایجاد کند. تجربیات به طور معمول یک نقطه یا بخش خاصی از طیف را مورد هدف قرار خواهند داد. سپس توسعه دهندگان بایستی قابلیتهای دستگاه‌هایی که می‌خواهند مورد هدف قرار دهند را در نظر بگیرند. به عنوان مثال، تجربیاتی که بر روی دنیای فیزیکی تکیه دارد بر روی هولولنزها بهتر اجرا می‌شوند.
* نزدیک به سمت چپ (نزدیک به واقعیت فیزیکی): کاربران در محیطی واقعی قرار داشته و هرگز به این باور نمی‌رسند که آن محیط را ترک کرده‌اند.
* در وسط (واقعیت کاملاً ترکیبی): تجربیات دنیای واقعی و دنیای دیجیتال را با هم ترکیب می‌کند. بینندگانی که فیلم جومانجی را دیده باشند می‌توانند بپذیرند که چگونه ساختار فیزیکی خانه که داستان در آن اتفاق می افتد با یک محیط جنگلی در هم آمیخته شده است.
* نزدیک سمت راست (نزدیک به واقعیت دیجیتال یا مجازی) کاربران یک محیط کاملاً دیجیتال را تجربه کرده و از آنچه در محیط فیزیکی اطرافشان اتفاق می افتد بی اطلاع هستند.
منبع: docs.microsoft
.png "توضیحاتی در خصوص واقعیت ترکیبی ")
واقعیت ترکیبی حاصل ترکیب دنیای فیزیکی با دنیای دیجیتال است
ورودی و ادراک محیطی
طی چند دهه گذشته، ارتباط میان ورودی کامپیوتر و انسان به خوبی مورد بررسی قرار گرفته و در رشته یا زمینه‌ای تحت عنوان تعامل انسان و کامپیوتر به طور گسترده بر روی آن مطالعه شده است. ورودی انسانی از طریق راه‌های مختلفی از جمله صفحه کلید، ماوس، لمس، قلم، صوت و غیره اتفاق می‌افتد.پیشرفتهای صورت گرفته در حسگرها و پردازنده‌ها ورودی جدیدی از محیط را به وجود آورده‌اندپیشرفتهای صورت گرفته در حسگرها و پردازنده‌ها ورودی جدیدی از محیط را به وجود آورده‌اند. تعامل میان کامپیوتر و محیط به طور مؤثر درک و دریافت محیطی را می‌رساند. ورودی محیطی، چیزهایی مانند موقعیت یک شخص در دنیا (به عنوان مثال ردیابی سر یا کنترل حرکات سر)، سطوح و مرزها (به عنوان مثال نقشه برداری مکانی و درک صحنه)، نورپردازی محیط، صدای محیطی، تشخیص اشیاء و مکان یابی را ضبط می‌کند.
.png "توضیحاتی در خصوص واقعیت ترکیبی ")
تعامل میان انسان، کامپیوتر و محیط
اکنون ترکیبی از سه مورد پردازش کامپیوتر، ورودی انسان و ورودی محیطی فرصتی را برای ایجاد تجربه‌هایی از واقعیت ترکیبی در اختیار ما قرار می‌دهد. حرکت در میان دنیای فیزیکی می‌تواند به حرکت در دنیای دیجیتال تبدیل شود. مرزهای موجود در دنیای واقعی می‌توانند بر تجربیات کاربردی مانند انجام بازی در دنیای دیجیتال تأثیر بگذارند. بدون ورودی محیطی تجربیات نمی‌توانند میان واقعیتهای فیزیکی و دیجیتال در هم آمیزند.
طیف واقعیت ترکیبی
از آنجا که واقعیت ترکیبی دنیای فیزیکی و دنیای دیجیتال را در هم می‌آمیزد، این دو واقعیت (دیجیتال و فیزیکی) دو انتهای مخالف یک طیف تحت عنوان پیوستار مجاز را تعیین می‌کنند. به زبان ساده به آن طیف واقعیت ترکیبی می‌گوییم. در سمت چپ این طیف واقعیت فیزیکی یا محیط واقعی را داریم که ما انسانها در آن وجود داریم؛ در سمت راست آن واقعیت دیجیتال یا محیط مجازی متناظر وجود دارد.واقعیت مجازی در مقابل واقعیت افزوده
امروزه اکثر تلفنهای همراه موجود در بازار از قابلیت دریافت و درک محیطی بسیار اندکی برخوردارند. در نتیجه رویدادها و تجربیاتی که ارائه می‌کنند نمی‌تواند میان واقعیتهای دیجیتال و فیزیکی ادغام شوند. تجربیاتی که گرافیک را در جریانهای ویدئویی دنیای فیزیکی پوشش می‌دهند واقعیت افزوده (AR) هستند. به عبارتی واقعیت افزوده محیط واقعی است که اشیاء مجازی (گرافیک کامپیوتری) به آن افزوده شده‌اند. تجربیاتی که دید شما را جهت ارائه یک تجربه دیجیتال مسدود سازد را واقعیت مجازی (VR) گویند. به عبارتی کاربر در یک دنیای مجازی که توسط کامپیوتر ایجاد شده است فرو می‌رود. همانطور که می‌بینید تجربیات ایجاد شده میان این دو نقطه واقعیت ترکیبی (MR) را می‌سازند..png "توضیحاتی در خصوص واقعیت ترکیبی ")
طیف واقعیت ترکیبی
اکثر واقعیتهای افزوده و مجازی موجود بخش بسیار کمی از این طیف را نشان می‌دهند. با این حال زیر مجموعه طیف بزرگتر واقعیت ترکیبی هستند. ویندوز 10 با استفاده از طیف کامل ذهنی ساخته شده است و امکان ادغام نمونه‌های انسانی، مکانی و اشیاء دیجیتالی را با دنیای واقعی فراهم می‌سازد.
دستگاه‌ها و تجربیات
دو نوع دستگاه اصلی وجود دارد که تجربیات واقعیت ترکیبی ویندوز را ارائه می‌دهند:1- دستگاه‌های هولوگرافی: دستگاه‌هایی که دارای قابلیت قرار دادن محتوای دیجیتالی در دنیای واقعی هستند به گونه‌ای که گویی واقعاً در آنجا وجود داشته‌اند.
2- دستگاه‌های ایمرسیو یا غوطه ور ساز: این دستگاه‌ها با قابلیت ایجاد حسی از «حضور» و پنهان ساختن دنیای واقعی و جایگزین کردن آن با یک تجربه دیجیتال مشخص می‌شوند. به طوری که فرد در دنیای مجازی غوطه ور یا غرق می‌شود.
| ویژگی | دستگاه‌های هولوگرافی | دستگاه‌های غوطه ور کننده |
| نمونه دستگاه | هولولنز مایکروسافت  |
سامسونگ HMD Odyssey+ |
| نوع نمایشگر | نمایشگر شفاف: به کابر اجازه مشاهده محیط فیزیکی در حین استفاده از هدست را می‌دهد | نمایشگر مات: محیط فیزیکی را در حین استفاده از هدست مسدود می‌سازد |
| نوع حرکت | حرکت شش درجه‌ای کامل چرخشی و انتقالی | حرکت شش درجه‌ای کامل چرخشی و انتقالی |
پیشرفت تکنولوژیکی موجب شده است که تجربیات واقعیت ترکیبی امکان پذیر شوندپیشرفت تکنولوژیکی موجب شده است که تجربیات واقعیت ترکیبی امکان پذیر شوند. امروزه هیچ دستگاهی وجود ندارد که بتواند تجربیات را در یک طیف کامل اجرا کند. با این حال، ویندوز 10 پلتفورمی از واقعیت ترکیبی متداول را هم برای تولیدکنندگان و هم توسعه دهندگان دستگاه فراهم ساخته است. دستگاه‌های امروزی می‌توانند محدوده خاصی از طیف واقعیت ترکیبی را پشتیبانی کنند. با گذشت زمان وسایل جدید این محدوده را گسترش خواهند داد. در آینده دستگاه‌های هولوگرافی بیشتر سطح غوطه وری را دارا خواهند شد و دستگاه‌هایی با قابلیت سطح غوطه وری بیشتر هولوگرافی خواهند شد.
.png "توضیحاتی در خصوص واقعیت ترکیبی ")
مکان قرار گیری دستگاه‌ها در طیف واقعیت ترکیبی
اغلب بهترین کار آن است که فکر کنید یک برنامه کاربردی یا توسعه دهنده بازی چه تجربه‌ای را می‌خواهد ایجاد کند. تجربیات به طور معمول یک نقطه یا بخش خاصی از طیف را مورد هدف قرار خواهند داد. سپس توسعه دهندگان بایستی قابلیتهای دستگاه‌هایی که می‌خواهند مورد هدف قرار دهند را در نظر بگیرند. به عنوان مثال، تجربیاتی که بر روی دنیای فیزیکی تکیه دارد بر روی هولولنزها بهتر اجرا می‌شوند.
* نزدیک به سمت چپ (نزدیک به واقعیت فیزیکی): کاربران در محیطی واقعی قرار داشته و هرگز به این باور نمی‌رسند که آن محیط را ترک کرده‌اند.
* در وسط (واقعیت کاملاً ترکیبی): تجربیات دنیای واقعی و دنیای دیجیتال را با هم ترکیب می‌کند. بینندگانی که فیلم جومانجی را دیده باشند می‌توانند بپذیرند که چگونه ساختار فیزیکی خانه که داستان در آن اتفاق می افتد با یک محیط جنگلی در هم آمیخته شده است.
* نزدیک سمت راست (نزدیک به واقعیت دیجیتال یا مجازی) کاربران یک محیط کاملاً دیجیتال را تجربه کرده و از آنچه در محیط فیزیکی اطرافشان اتفاق می افتد بی اطلاع هستند.
منبع: docs.microsoft
