یک زن فلج با استفاده از فناوری که سیگنال های مغز او را به گفتار و حالات چهره ترجمه می کند، توانسته است از طریق آواتار صحبت کند.
این پیشرفت امید به اینکه رابط های مغز و کامپیوتر (BCIs) می توانند در آستانه تغییر زندگی افرادی باشند که به دلیل شرایطی مانند سکته مغزی و اسکلروز جانبی آمیوتروفیک (ALS) توانایی صحبت کردن را از دست داده اند را افزایش دهد.
تا به حال، بیماران مجبور بودند به ترکیب‌کننده‌های گفتار آهسته آهسته تکیه کنند که شامل املای کلمات با استفاده از ردیابی چشم یا حرکات کوچک صورت می‌شد و مکالمه طبیعی را غیرممکن می‌کرد.
جدیدترین فناوری از الکترودهای کوچک کاشته شده در سطح مغز برای تشخیص فعالیت الکتریکی در بخشی از مغز که گفتار و حرکات صورت را کنترل می کند، استفاده می کند. این سیگنال‌ها مستقیماً به گفتار و حالات چهره یک آواتار دیجیتال از جمله لبخند زدن، اخم کردن یا تعجب ترجمه می‌شوند.
این بیمار، زنی ۴۷ ساله است که بیش از ۱۸ سال پیش به علت سکته مغزی به شدت فلج شده است. او نمی تواند صحبت کند یا تایپ کند و معمولاً با استفاده از فناوری ردیابی حرکت ارتباط برقرار می کند که به او اجازه می دهد حروف را به آرامی با حداکثر ۱۴ کلمه در دقیقه انتخاب کند. او امیدوار است که فناوری آواتار بتواند او را قادر سازد در آینده به عنوان مشاور کار کند.
این تیم یک مستطیل نازک به اندازه کاغذ متشکل از ۲۵۳ الکترود را در سطح مغز آن در ناحیه ای که برای گفتار حیاتی است کاشته کردند. الکترودها سیگنال‌های مغزی را رهگیری کردند که اگر سکته مغزی نبود، ماهیچه‌های زبان، فک، حنجره و صورت او را کنترل می‌کرد.
پس از کاشت، این تیم الگوریتم هوش مصنوعی سیستم را آموزش داد تا سیگنال‌های مغزی منحصر به فرد خود را برای صداهای گفتاری مختلف با تکرار عبارات مختلف به طور مکرر تشخیص دهد.
این برنامه ۳۹ صدای متمایز را یاد گرفت و یک مدل زبان به سبک Chat GPT برای ترجمه سیگنال ها به جملات قابل فهم استفاده شد. سپس از این برای کنترل آواتار با صدایی که شبیه صدای بیمار قبل از آسیب است، بر اساس ضبط صدای صحبت کردن او در مراسم عروسی اش، استفاده شد.
این فناوری بی نقص نبود و در ۲۸ درصد مواقع در آزمایشی که شامل بیش از ۵۰۰ عبارت بود، کلمات را به اشتباه رمزگشایی می کرد و در مقایسه با ۱۱۰ تا ۱۵۰ کلمه که معمولاً گفته می شد، با سرعت ۷۸ کلمه در دقیقه، از مغز به متن استفاده می کرد.
با این حال، دانشمندان می گویند آخرین پیشرفت ها در دقت، سرعت و پیچیدگی نشان می دهد که این فناوری اکنون در مرحله ای است که عملا برای بیماران مفید است.
پروفسور نیک رمزی، متخصص علوم اعصاب در دانشگاه اوترخت هلند، که در این تحقیق شرکت نداشت، گفت: «این یک جهش نسبت به نتایج قبلی است. ما در یک نقطه اوج هستیم.»
گام بعدی بسیار مهم، ایجاد یک نسخه بی سیم از BCI است که می تواند در زیر جمجمه کاشته شود.
این پیشرفت امید به اینکه رابط های مغز و کامپیوتر (BCIs) می توانند در آستانه تغییر زندگی افرادی باشند که به دلیل شرایطی مانند سکته مغزی و اسکلروز جانبی آمیوتروفیک (ALS) توانایی صحبت کردن را از دست داده اند را افزایش دهد.
تا به حال، بیماران مجبور بودند به ترکیب‌کننده‌های گفتار آهسته آهسته تکیه کنند که شامل املای کلمات با استفاده از ردیابی چشم یا حرکات کوچک صورت می‌شد و مکالمه طبیعی را غیرممکن می‌کرد.
جدیدترین فناوری از الکترودهای کوچک کاشته شده در سطح مغز برای تشخیص فعالیت الکتریکی در بخشی از مغز که گفتار و حرکات صورت را کنترل می کند، استفاده می کند. این سیگنال‌ها مستقیماً به گفتار و حالات چهره یک آواتار دیجیتال از جمله لبخند زدن، اخم کردن یا تعجب ترجمه می‌شوند.
این بیمار، زنی ۴۷ ساله است که بیش از ۱۸ سال پیش به علت سکته مغزی به شدت فلج شده است. او نمی تواند صحبت کند یا تایپ کند و معمولاً با استفاده از فناوری ردیابی حرکت ارتباط برقرار می کند که به او اجازه می دهد حروف را به آرامی با حداکثر ۱۴ کلمه در دقیقه انتخاب کند. او امیدوار است که فناوری آواتار بتواند او را قادر سازد در آینده به عنوان مشاور کار کند.
این تیم یک مستطیل نازک به اندازه کاغذ متشکل از ۲۵۳ الکترود را در سطح مغز آن در ناحیه ای که برای گفتار حیاتی است کاشته کردند. الکترودها سیگنال‌های مغزی را رهگیری کردند که اگر سکته مغزی نبود، ماهیچه‌های زبان، فک، حنجره و صورت او را کنترل می‌کرد.
پس از کاشت، این تیم الگوریتم هوش مصنوعی سیستم را آموزش داد تا سیگنال‌های مغزی منحصر به فرد خود را برای صداهای گفتاری مختلف با تکرار عبارات مختلف به طور مکرر تشخیص دهد.
این برنامه ۳۹ صدای متمایز را یاد گرفت و یک مدل زبان به سبک Chat GPT برای ترجمه سیگنال ها به جملات قابل فهم استفاده شد. سپس از این برای کنترل آواتار با صدایی که شبیه صدای بیمار قبل از آسیب است، بر اساس ضبط صدای صحبت کردن او در مراسم عروسی اش، استفاده شد.
این فناوری بی نقص نبود و در ۲۸ درصد مواقع در آزمایشی که شامل بیش از ۵۰۰ عبارت بود، کلمات را به اشتباه رمزگشایی می کرد و در مقایسه با ۱۱۰ تا ۱۵۰ کلمه که معمولاً گفته می شد، با سرعت ۷۸ کلمه در دقیقه، از مغز به متن استفاده می کرد.
با این حال، دانشمندان می گویند آخرین پیشرفت ها در دقت، سرعت و پیچیدگی نشان می دهد که این فناوری اکنون در مرحله ای است که عملا برای بیماران مفید است.
پروفسور نیک رمزی، متخصص علوم اعصاب در دانشگاه اوترخت هلند، که در این تحقیق شرکت نداشت، گفت: «این یک جهش نسبت به نتایج قبلی است. ما در یک نقطه اوج هستیم.»
گام بعدی بسیار مهم، ایجاد یک نسخه بی سیم از BCI است که می تواند در زیر جمجمه کاشته شود.
