موضوعات: مهندسی پزشکی، نوروساینس، هوش مصنوعی
نمودار شماتیک سیستم رمزگشایی دو زبانه. در هر آزمایش، یک عبارت هدف به زبان انگلیسی یا اسپانیایی به شرکتکننده ارائه میشود. شرکتکننده بهطور ارادی سیستم را با تلاش برای صحبت کردن فعال میکند، و این تلاش از روی ویژگیهای عصبی با یک مدل تشخیص گفتار شناسایی میشود.
تیمی از جراحان مغز و اعصاب و متخصصان هوش مصنوعی در دانشگاه کالیفرنیا، سانفرانسیسکو، در بازگرداندن تکلم به بیماری که پس از سکته مغزی توانایی خود را از دست داده بود، به موفقیت هایی دست یافتند. آنها در مطالعه خود که در ژورنال Nature Biomedical Engineering منتشر شد، یک رابط مغز و کامپیوتر (BCI) را در داخل جمجمه مردی با نام مستعار “پانچو” کاشتند و تکنیکهای هوش مصنوعی را روی دادههایی که ارائه میکرد برای کمک به صحبت کردن مجدد بیمار در دو زبان به کار بردند. آزمایشهای قبلی نشان دادهاند که میتوان یک کاوشگر را روی سطح مغز برای خواندن امواج مغزی کاشت و سپس تکنیکهای یادگیری را روی دادههایی که بهعنوان وسیلهای برای تبدیل برخی از امواج مغزی به کلمات ارائه میکند، اعمال کرد. در این تلاش جدید، تیم تحقیقاتی با افزودن یک عنصر دیگر – یک زبان دوم – چنین کاری را یک گام فراتر برداشته است. زبان مادری داوطلب، اسپانیایی بود. او بیشتر این توانایی را در سن 20 سالگی با سکته مغزی از دست داد. چندین سال بعد، او یاد گرفت که بخواند و کلمات موجود در افکارش را به انگلیسی تبدیل کند. اخیراً، او در پروژه تحقیقاتی شرکت کرد که شبکهای از الکترودها را روی سطح بخشی از مغز او که مسئول پردازش زبان است، اعمال کردند. یک رابط در جمجمه او به BCI اجازه می دهد تا به یک سیستم کامپیوتری متصل شود.
در طول سه سال بعد، پانچو تحت آموزش قرار گرفت. کلماتی روی صفحه کامپیوتر به او نشان داده شد و سپس از او خواسته شد که آنها را در ذهن خود تکرار کند. همانطور که او این کار را انجام داد، کاوشگر امواج مغزی او را خواند و سعی کرد آنها را به کلمه ای که می خواند تبدیل کند. به عنوان بخشی از آموزش، به پانچو کلمات اسپانیایی و انگلیسی نشان داده شد. یک LLM به رمزگشایی و تبدیل کمک کرد و تعداد خطاها را کاهش داد.
این سیستم برای زبان اسپانیایی در مقابل انگلیسی 88 درصد دقت را در زمان صحبت پانچو و 75 درصد در رمزگشایی کلمات به طور کلی نشان داد.
اطلاعات بیشتر
More information: Alexander B. Silva et al, A bilingual speech neuroprosthesis driven by cortical articulatory representations shared between languages, Nature Biomedical Engineering (2024). DOI: 10.1038/s41551-024-01207-5
Journal information: Nature Biomedical Engineering
بیشتر بخوانید: نانوذرات زیست سازگار اصلاح شده با ATP