در حالی که سیستم‌های هوش مصنوعی قبلاً وجود دارند که برای تطبیق اثرات صوتی با تصاویر بی‌صدا از خیابان‌ها و مکان‌های دیگر ساخته شده‌اند، یک فناوری تجربی جدید کاملاً برعکس عمل می‌کند. این فناوری تصاویر را مطابق با ضبط‌های صوتی خیابان‌ها تولید می‌کند و دقت شگفت‌انگیزی دارد.
این مدل به نام «مدل انتشار صوت‌شناسی به تصویر» توسط دکتر یوهاو کانگ و همکارانش از دانشگاه تگزاس در آستین توسعه یافته است و بر روی مجموعه‌ای از کلیپ‌های صوتی-تصویری ۱۰ ثانیه‌ای آموزش داده شده است. این کلیپ‌ها شامل تصاویر ثابت و صداهای محیطی از ویدیوهای یوتیوب مربوط به خیابان‌های شهری و روستایی در آمریکای شمالی، آسیا و اروپا بودند.
با استفاده از الگوریتم‌های یادگیری عمیق، سیستم نه تنها آموخت که کدام صداها به کدام اشیاء در تصاویر مربوط می‌شوند، بلکه به ارتباط ویژگی‌های صدا با محیط‌های بصری خاص نیز پی برد.
پس از تکمیل آموزش، این سیستم با هدف تولید تصاویر تنها بر اساس صدای ضبط‌شده محیط از ۱۰۰ ویدیو دیگر خیابان‌ها وارد عمل شد. این سیستم برای هر ویدیو یک تصویر تولید کرد.
یک گروه از داوران انسانی سپس هر یک از این تصاویر را همراه با دو تصویر تولید شده از خیابان‌های دیگر مشاهده کردند و به صدای ویدیویی که تصویر بر اساس آن ساخته شده بود گوش دادند. زمانی که از آنها خواسته شد تا تشخیص دهند کدام یک از سه تصویر با صدای ویدیویی مطابقت دارد، آنها به طور متوسط با دقت ۸۰% موفق به انجام این کار شدند.
علاوه بر این، وقتی تصاویر تولید شده توسط کامپیوتر تجزیه و تحلیل شدند، تناسب نسبی آسمان باز، فضای سبز و ساختمان‌ها در آنها با ویدیوهای اصلی به شدت هم‌راستا بود. در بسیاری از موارد، تصاویر تولید شده همچنین شرایط نوری ویدیوی منبع را نیز منعکس می‌کردند، مانند آسمان آفتابی، ابری یا شبانه. این امر ممکن است به واسطه عواملی همچون کاهش نویز ترافیکی در شب یا صدای حشرات شبانه امکان‌پذیر شده باشد.
اگرچه این فناوری می‌تواند کاربردهای جنایی مانند تخمین محل ضبط یک صدا را داشته باشد، هدف اصلی این مطالعه بیشتر بررسی چگونگی تأثیر صدا بر درک ما از مکان‌ها است.
دانشمندان در مقاله‌ای که اخیراً در مجله Nature منتشر شده، بیان کرده‌اند: «نتایج این تحقیق ممکن است دانش ما را در زمینه تأثیرات ادراکات بصری و شنوایی بر سلامت روان انسان گسترش دهد، می‌تواند به راهنمایی شیوه‌های طراحی شهری برای ساخت مکان‌ها کمک کند و کیفیت زندگی در جوامع را بهبود بخشد.»
کد خبر ۲۱۲۰۳۰۹۱۴.۱۳۵
