Üniversite öğrencilerinden işaret dilini sese dönüştüren eldiven

Başkent Üniversitesi Elektrik-Elektronik Mühendisliği Bölümü öğrencileri Doğa Altınsel ve Naz Gökoğuz, konuşma engelli bireylerin işaret diliyle yaptıkları el hareketlerini gerçek zamanlı olarak Türkçe sese ve yazıya dönüştüren eldiven geliştirdi. Öğrencilerin geliştirdiği akıllı eldiven projesi, üniversitede bitirme projeleri arasında 1'inci seçildi. TÜBİTAK desteği ile geliştirilen eldiven, iletişimde zorluk yaşayan bireylerin günlük yaşamda daha özgür iletişim kurmalarını sağlamayı hedefliyor. Eldiven, işaret dili hareketlerini algılayıp kullanıcının ifadelerini anında sesli şekilde iletiyor. İngilizce ‘Talk to Text’ (konuşma metni) adı verilen akıllı eldiven, taşınabilir yapısı sayesinde kullanıcıya ifade özgürlüğü ve bağımsız iletişim kurabilme imkanı sağlıyor. Bu sayede konuşma engelli bireyler, çevreleriyle daha etkili iletişim kurabiliyor.

'OKUMA-YAZMA ÖĞRETİR GİBİ İŞARET DİLİNİ ÖĞRETTİK'

Öğrencilerden Doğa Altınsel, konuşma engelli bireylerin işaret diliyle konuştukları için sürekli elleriyle hareket ettiklerini söyleyerek, "Biz de bu projeyi nasıl entegre edebileceğimizi, onlara nasıl yardım edebileceğimizi düşündük ve böyle bir proje geliştirdik. Projemizde bir eldiven üzerine, birtakım sensörler yerleştirdik. Bu sensörlerden aldığımız verilerle bir yapay zeka modeli hazırladık. Kendi veri setimizi oluşturduk. Modeli eğiterek kelimeleri tanıttık. Eldiveni elimize takıp normal bir çocuğa okuma yazmayı öğretir gibi eldivene de işaret dilini öğrettik. Şu anda 15 kelimeyi söyleyebiliyor. Belli kelime kalıplarını sürekli olarak tanıttık. Denemelerimiz sonucunda bir veri seti elde ettik. Veri setine etiketlemeler yaptık ve yüzde 89 doğruluk oranında çalışan bir eldiven ürettik. Biz bu proje ile toplumsal fırsat eşitliğini yakalamak istedik. Eğitimde, sağlıkta, konuşma engelli bireyleri hayata katmak için bu projeyi yaptık" dedi.

'HEM YAZIYOR, HEM KONUŞUYOR'

Altınsel, konuşma engelli bireylerin çoğunun aynı zamanda işitme engelli olduklarını belirterek, "O yüzden eldiven hem yazıyor, hem de konuşuyor. Sizin sesinizi yazıya çeviriyor, benim el hareketlerimi de sese çeviriyor. Bu projenin ergonomik olması çok önemli. Çünkü günlük yaşantıda kullanılacak, sürekli insanların ellerinde olacak. Onun için olabildiğince hafif malzemeler kullanmaya çalıştık. Eldivende çok rahat nefes alabilir eller. Eldiveni kullanmadıkları zaman yanında bir açma kapama tuşu var. Oradan kapatmaları gerekiyor. El herhangi bir şekilde sallandığında o anda veriler alıyor. O verilerle tahmin yürütüp bir ses çıkarabilir. O yüzden kullanılmadığında kapatılması gerekiyor. Onun dışında da kullanıcıların yanlarında powerbank gibi bir batarya taşımaları gerekiyor" diye konuştu.

Öğrencilerden Naz Gökoğuz ise daha fazla kelime ve kelime kalıpları ekleyip, projeyi geliştireceklerini de söyledi.