התוכנה מתרגמת דימויים חזותיים לצלילים ומאפשרת לעיוורים להרכיב בראשם תמונות מורכבות, לזהות מיקומים של אנשים שונים, לקרוא מלים ואותיות ואפילו לזהות הבעות פנים
מאת: רותי לוי, TheMarker
במארס אשתקד עמד פרופ' אמיר עמדי מול קהל של אלפי אנשים בוועידת איפא"ק בוושינגטון. לצדו ישבה חמוטל, שהתבקשה לבחור בקבוק ירוק מתוך שלושה בקבוקי שתייה קלה שהוצבו על השולחן. האווירה באולם היתה מתוחה, שכן חמוטל היא עיוורת מלידה – היא מעולם לא חוותה אור, ובטח שלא צבע. ואולם עד מהרה היא הושיטה יד בוטחת והרימה את הבקבוק הנכון לקול תשואות הקהל.
"אם יהיה לנו מזל", עבר עמדי למבחן השני, "חמוטל תוציא כעת את התפוח האדום, שהיא הכי אוהבת, מתוך קערת התפוחים הירוקים", אמר. גם במשימה זאת חמוטל עמדה בהצלחה.
האמת היא שמופע הראווה המדהים הזה רחוק מלהיות עניין של מזל. מאחוריו עומדות שנים של מחקר פורץ דרך שמוביל עמדי מבית הספר לרפואה וממרכז אדמונד ולילי ספרא לחקר המוח באוניברסיטה העברית בירושלים. אלגוריתם שפיתח יודע לתרגם דימויים חזותיים לצלילים.
חמוטל צוידה באוזניות ובמצלמה מיניאטורית – אביזרים לא פולשניים – המחוברים לתוכנת מחשב בשם EyeMusic (עין מוסיקלית). תווים ששמעה באוזניה תיארו לה תמונה מפורטת, כפי שסרקה המצלמה משמאל לימין, של מה שעומד לנגד עיניה. חמוטל הצליחה לא רק לפענח את הצבע והצורה של הפריטים, כדי לזהותם כבקבוק או כתפוח, אלא גם למקם אותם במרחב – כך היא היתה מסוגלת לבצע תנועה מהירה ומדויקת לעבר החפץ המבוקש. "אחרי 20 או 30 שעות של אימון, עיוורים יכולים להיכנס עם המכשיר לחדר, לדעת שיש בו ארבעה או חמישה אנשים, לגשת וללחוץ להם את היד", מסביר עמדי.
העדויות שמגיעות מהמעבדה של עמדי כמעט בלתי־נתפשות. למשל, אחד הנסיינים במעבדה יצא יום אחד עם המכשיר החוצה, וקבע ש"משהו לא בסדר בשמים". הנסיין, עיוור מלידה, ידע שהשמים כחולים, כי זה מה שהסבירו לו תמיד, אך כשנשא את עיניו אליהם עם המצלמה של עמדי, הוא שמע כתמים לבנים. אלה היו כמובן עננים, וההבנה כיצד הם נראים היתה תגלית עבורו.
נסיינית אחרת, גם היא עיוורת מלידה, תיארה חלום שבו היא נהגה במכונית: "נהגתי כעיוורת, אבל היתה לי מודעות גבוהה יותר לדברים ויזואליים – הכבישים והנתיבים היו ברורים לי יותר עכשיו. שמעתי מכוניות, זה היה בלילה. מצחיק, אפילו ראיתי את נורית חיווי הדלק. היו לי חלומות נהיגה בעבר, אבל לא כאלה מפורטים".
כדי להגיע ליכולות כמו אלה שהציגה חמוטל על במת הוועידה בוושינגטון, יש צורך בשיתוף פעולה של העיוור והכשרה אינטנסיבית, אם כי קצרה מהזמן הנדרש לרכישת מיומנות בסיסית בשפה חדשה.
ובכל זאת, מעטים מהעיוורים עברו הכשרה כזו. ברחבי העולם יש כ–45 מיליון עיוורים ועוד כ-250 מיליון כבדי ראייה. "בארה"ב ובישראל מיעוט בלבד מאוכלוסיית העיוורים משתמש במקל, ופחות מ-2% נעזרים בכלבי נחייה. היתר נשארים בבית ולא יוצאים בגפם. זה מצב בלתי־נסבל – זאת אוכלוסייה גדולה שצריך למצוא עבורה פתרון", אומר עמדי.
בשבוע הבא צפויה לצאת גרסה משופרת של אפליקציית EyeMusic, שתאפשר התנסות ולמידה של תוכנת ההמרה לכל עיוור ובחינם באמצעות הסלולרי. עמדי תולה בה תקוות גדולות. "זה מבחן חשוב עבורנו וקפיצת מדרגה", הוא אומר.
"אנחנו מנסים לגרום לאנשים להשקיע שעות של אימון עצמי ולעשות את זה בכיף, תוך כדי משחקים ושיעורים אונליין, כך שלא יצטרכו להגיע למעבדה, או לכל היותר לשעות בודדות בלבד. השאיפה בשנה־שנתיים הקרובות היא להגיע למצב שמרכזים שעובדים עם עיוורים, רופאי עיניים ואחרים יובילו תוכניות משלהם, תוך שימוש בטכנולוגיה, כך שנגיע לאלפי אנשים".
האלגוריתם של עמדי מסתמך על ארבעה כללים: גובה האובייקט מיוצג על ידי תדר הקול (גובה הצליל), הציר האופקי מיוצג על ידי הזמן ומשך הצלילים, בהירות התמונה מוצפנת על ידי עוצמת הצליל, והצבע מיוצג על ידי כלי נגינה שונים (כמו כינור, חצוצרה ואורגן).
עיוורים שלומדים את שפת הצלילים הזאת ואת החוקיות שלה יכולים להרכיב בראשם תמונות מורכבות, בהן בתים, תמונות נוף וחפצים יומיומיים, לזהות מיקומים של אנשים שונים, לקרוא מלים ואותיות ואפילו לזהות הבעות פנים בעזרת תמונת שמע הנבנית מהרכבת צלילים שונים. לכתבה המלאה באתר TheMarker – לחצו כאן
