اپلیکیشن GazeSpeak

اپلیکیشن GazeSpeak مایکروسافت به کمک افراد مبتلا به ALS می آید تا با کمک حرکت چشمان خود حرف بزنند


تسهیل زندگی برای افرادی که ناتوانایی های جسمانی مختلف دارند، یکی از زمینه های فعالیت بسیاری از کمپانی هاست. در صورتی که تنها قادر به حرکت دادن چشمان خود باشید، برقراری ارتباط با سایرین بسیار دشوار می شود و چنین شرایطی برای بیماران مبتلا به ALS (اسکلروز جانبی آمیوتروفیک) حاکم است. در همان راستا نیز محققان مایکروسافت به توسعه یک اپلیکیشن جدید پرداخته اند که حرف زدن با استفاده از حرکات چشم را تسهیل می بخشد، این اپلیکیشن GazeSpeak نام دارد.

اپلیکیشن GazeSpeak بر روی اسمارت فون ها اجرا می شود و از هوش مصنوعی برای تبدیل حرکات چشم به گفتار استفاده می کند، بدین ترتیب طرف مقابل حرف های فرد بیمار را متوجه می شود.

اپلیکیشن بر روی گوشی فرد شنونده اجرا می شود و او گوشی را رو به فرد سخنگو نگه می دارد، انگار در حال حرف زدن با یک عکس باشد. یک استیکر بر روی پشت گوشی قرار گرفته و فرد سخنگو قادر به دیدن آن است و یک گرید از حروف گروه بندی شده در چهار باکس را به نمایش می گذارد که هریک متناظر با نگاه به چپ، راست، بالا و پایین هستند. وقتی فرد سخنگو سیگنال های چشمی متفاوتی ارسال می کند، GazeSpeak نیز آنها را به عنوان حرف به ثبت می رساند.

به گفته Xiaoyi Zhang که در زمان کارآموزی خود در مایکروسافت GazeSpeak را توسعه داده "برای گفتن کلمه task فرد اول به پایین نگاه می کند تا گروهی که شامل حرف t است را انتخاب کند، سپس به بالا نگاه می کند تا گروه دربرگیرنده حرف a را انتخاب کند و فرآیند به همین ترتیب ادامه پیدا می کند تا کلمه کامل شود".

اپلیکیشن GazeSpeak

GazeSpeak حرف مناسب از هر گروه را با پیش بینی کلمه ای که سخنگو می خواهد بگوید و در زبان انگلیسی رایج تر است انتخاب می کند، و عملکرد آن مشابه پیام رسانی پیشگویانه است. پس از اینکه کلمه تمام شد، سخنگو با چشمک زدن یا دو ثانیه نگاه کردن آن را نشان می دهد. سیستم لیست اضافه ای از کلمات را نیز مد نظر قرار می دهد، مانند نام ها و مکان هایی که احتمال استفاده سخنگو از آنها در مکالمه وجود دارد. چهار پیش بینی برتر نیز نمایش داده می شوند و اولی با صدای بلند خوانده می شود.

به بیان Meredith Morris، ما با استفاده از computer vision حرکات چشم را تشخیص می دهیم و از هوش مصنوعی نیز برای پیش بینی کلمات بهره می گیریم.

این اپلیکیشن برای افرادی طراحی شده که از بیماری هایی همچون ALS رنج می برند، زیرا حرکت چشم تنها راه برای برقراری ارتباط از سوی این افراد می باشد. بیماری ALS به مرور زمان سلول های عصبی را تخریب می کند و توانایی حرف زدن، بلع و در نهایت نفس کشیدن را از فرد می گیرد، اما عضلات چشم بیشتر از سایر اجزا دوام آورده و به عملکرد خود ادامه می دهند.

استفاده از بورد

به گفته Matthew Hollis از Motor Neurone Disease Association "افراد به مشکلات بیشماری بر می خورند و اگر این اپلیکیشن بتواند کمی از مشکلات آنها بکاهد، بسیار خوب خواهد بود".

در حال حاضر امکانات بسیار محدودی در اختیار بیماران مبتلا به ALS وجود دارد و رایج ترین آن استفاده از بوردهایی برای نمایش حروف در گروه های مختلف است و فردی حرکات چشم فرد بیمار را در حین انتخاب حروف دنبال می کند، اما تشخیص حروف و تفسیر آنها مدت زمان نسبتا زیادی به طول می انجامد.

کار با GazeSpeak سریع تر است و این سرعت با کمک 20 نفر که اپلیکیشن و بورد را برای این کار استفاده کرده اند تست شده است، نتیجه اینکه تکمیل جمله با استفاده از GazeSpeak به طور متوسط 78 ثانیه طول کشید که در مقایسه با استفاده از بورد که 123 ثانیه بوده، بسیار سریعتر است. افراد شرکت کننده در این تست بیماری ALS نداشتند، اما تیم بازخوردهایی از سوی افراد مبتلا به این بیماری و تفسیرکنندگان آنها را هم دریافت کرده است. یکی از افراد سعی کرد در 62 ثانیه جمله ای تایپ کند و بیان داشت که تصور می کرد این ابزار سریع تر از این کار کند، زیر مترجم او راحت تر می توانست گفته های او را پیش بینی کند.

سایر سیستم ها در حال حاضر از نرم افزاری که حرکات چشم را با استفاده از دوربین های مادون قرمز ردیابی می کنند، استفاده می نمایند و این ابزارهای معمولا گران قیمت تر و بزرگ هستند و زیر نور خورشید عملکرد چندان خوب و دقیق را به نمایش نمی گذارند. اما اپلیکیشن GazeSpeak قابل حمل و نسبتا ارزان است و برای استفاده از آن تنها به یک گوشی آیفون یا آیپد که اپلیکیشن بر روی آن نصب شده نیاز خواهید داشت.

مایکروسافت در ماه می در کنفرانس Conference on Human Factors in Computing Systems که در کلرادو برگزار می شود، این اپلیکیشن را به نمایش خواهد گذاشت. به گفته محققان، این اپلیکیشن پیش از کنفرانس در اپ استور در دسترس قرار خواهد گرفت و سورس کد آن نیز در اختیار افراد علاقه مند قرار می گیرد تا در بهبود آن به مایکروسافت یاری رسانند.

 

https://www.newscientist.com برگرفته از

اینها را هم بخوانید