یک تیم تحقیقاتی از دانشگاه مریلند یک روش مبتنی بر هوش مصنوعی (AI) را برای بازسازی صحنه‌ها و اشیاء پیچیده به صورت سه بعدی و تنها با استفاده از بازتاب اشیا در چشم‌ها توسعه داده‌اند.
با آمدن این همه دوربین پروضوح شاید هم به فکر شما هم رسیده باشد که روی چشم آدم‌ها زوم کنید و از روی بازتاب حدس بزنید که در چه محیطی بوده و یا حتی چه کسی از او عکس گرفته! اما کار به همین سادگی نیست. چشم کروی است و بازسازی و تصور دقیق محیط پیرامون دشواری‌های خاص خود را دارد.
محققان توضیح می‌دهند که با تصویربرداری از چشم‌های یک فرد در حالی که چشمان او کمی به طرفین نگاه کرده باشد، می‌توان چندین نما از یک صحنه خارج از خط دید مستقیم دوربین را از طریق بازتاب‌های موجود در چشم جمع‌آوری کرد.
بازسازی یک صحنه سه بعدی با استفاده از انعکاس چشم به دو دلیل اصلی مشکل ساز است:
محققان توضیح می‌دهند که تخمین دقیق وضعیت چشم یک فرد دشوار است و بازسازی یک صحنه بر اساس بازتاب آن را چالش برانگیز می‌کند.
علاوه بر این، بافت چشم انسان و عنبیه به طرز پیچیده‌ای با بازتاب‌های سطح چشم تعامل دارند. به طوری که بافت زیرین چشم می‌تواند به طور قابل توجهی بر ظاهر انعکاس تأثیر بگذارد.
هندسه قرنیه تقریباً در همه بزرگسالان سالم یکسان است. به همین خاطر، اگر اندازه پیکسلی قرنیه یک فرد را در تصویر بشماریم، می‌توانیم دقیقاً محل چشم‌های او را محاسبه کنیم.
سپس باید منطقه عنبیه را که بازتاب کمی دارد از تصویر حذف کنیم تا خدشه‌ای در بازسازی ما ایجاد نکند.
می‌ماند آموزش هوش مصنوعی. اگر هوش مصنوعی را با میزان زیادی عکس از چشم و محیط آنها آموزش بدهیم، می‌توانیم به مرحله‌ای برسیم که از تصویر کروی افتاده روی چشم به تصویر پیرامونی برسیم.
تحقیقات جدید که توسط هادی الزایر، کوین ژانگ، براندون فنگ، کریستوفر متزلر و جیا بن هوانگ انجام شده، بر تحقیقات قبلی در زمینه فناوری میدان تابش عصبی (NeRF) تکیه دارد. NeRF می‌تواند نما‌های جدیدی از یک صحنه سه بعدی را با استفاده از ورودی‌های داده دو بعدی ایجاد کند.
با آمدن این همه دوربین پروضوح شاید هم به فکر شما هم رسیده باشد که روی چشم آدم‌ها زوم کنید و از روی بازتاب حدس بزنید که در چه محیطی بوده و یا حتی چه کسی از او عکس گرفته! اما کار به همین سادگی نیست. چشم کروی است و بازسازی و تصور دقیق محیط پیرامون دشواری‌های خاص خود را دارد.
محققان توضیح می‌دهند که با تصویربرداری از چشم‌های یک فرد در حالی که چشمان او کمی به طرفین نگاه کرده باشد، می‌توان چندین نما از یک صحنه خارج از خط دید مستقیم دوربین را از طریق بازتاب‌های موجود در چشم جمع‌آوری کرد.
بازسازی یک صحنه سه بعدی با استفاده از انعکاس چشم به دو دلیل اصلی مشکل ساز است:
محققان توضیح می‌دهند که تخمین دقیق وضعیت چشم یک فرد دشوار است و بازسازی یک صحنه بر اساس بازتاب آن را چالش برانگیز می‌کند.
علاوه بر این، بافت چشم انسان و عنبیه به طرز پیچیده‌ای با بازتاب‌های سطح چشم تعامل دارند. به طوری که بافت زیرین چشم می‌تواند به طور قابل توجهی بر ظاهر انعکاس تأثیر بگذارد.
هندسه قرنیه تقریباً در همه بزرگسالان سالم یکسان است. به همین خاطر، اگر اندازه پیکسلی قرنیه یک فرد را در تصویر بشماریم، می‌توانیم دقیقاً محل چشم‌های او را محاسبه کنیم.
سپس باید منطقه عنبیه را که بازتاب کمی دارد از تصویر حذف کنیم تا خدشه‌ای در بازسازی ما ایجاد نکند.
می‌ماند آموزش هوش مصنوعی. اگر هوش مصنوعی را با میزان زیادی عکس از چشم و محیط آنها آموزش بدهیم، می‌توانیم به مرحله‌ای برسیم که از تصویر کروی افتاده روی چشم به تصویر پیرامونی برسیم.
تحقیقات جدید که توسط هادی الزایر، کوین ژانگ، براندون فنگ، کریستوفر متزلر و جیا بن هوانگ انجام شده، بر تحقیقات قبلی در زمینه فناوری میدان تابش عصبی (NeRF) تکیه دارد. NeRF می‌تواند نما‌های جدیدی از یک صحنه سه بعدی را با استفاده از ورودی‌های داده دو بعدی ایجاد کند.
