Dudak hareket özellikleri kullanılarak Türkçe kelimelerin sınıflandırılması

Abstract

İşitme engellilerin ses terapisinde sesin yanında dudak okuma verileri de kullanılmaktadır. Dudak okuma üzerine literatürde çok sayıda çalışma olmasına rağmen, tümleşik kızılötesi sensörü sayesinde derinlik bilgisini de ölçebilen MS Kinect kamerasını kullanarak Türkçe kelimeler için yapılmış başka bir çalışmaya rastlanamamıştır. Bu çalışmanın amacı, MS Kinect kamerası kullanılarak sık kullanılan bazı Türkçe kelimelere ait, derinlik bilgisini de içeren görsel bir veri seti hazırlamak ve bu veri seti üzerinde en iyi sınıflandırma yöntemini araştırmaktır. Sınıflandırma için Yapay Sinir Ağları, KNN ve Dinamik Zaman Bükmesi gibi yöntemler kullanılmıştır. Ayrıca, işitme engelli çocukların ve konuşma terapisine ihtiyaç duyan kişilerin, eğitmen yardımıyla dudak hareketlerini taklit yeteneklerini geliştirmeyi hedefleyen ve iki telaffuzu karşılaştıran bir yazılım geliştirilmiştir. Bu yazılım ve oluşturulan veri seti, işitme engelli çocuklar için eğitim materyali olarak kullanılabilecektir.