Anlam Çözümleme Modelleri ile Geliştirilen Türkçe İşaret Dili Çeviri Sisteminin Nesnelerin İnterneti Üzerinden Web Ortamında Uygulaması


FIRAT Y. , UĞURLU T.

Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi, cilt.12, ss.1613-1626, 2019 (Hakemli Üniversite Dergisi)

  • Cilt numarası: 12 Konu: 3
  • Basım Tarihi: 2019
  • Dergi Adı: Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi
  • Sayfa Sayıları: ss.1613-1626

Özet

Günlük hayatta insanlar; duygularını, düşüncelerini ve yaşantılarını dili kullanarak ya da kullanmaksızın çevrelerindeki insanlara aktararak iletişime geçerler. Dilsel ve işitsel yetisi olmayan kişiler ise çevreleriyle bu iletişimi işaret dilini kullanarak gerçekleştirirler. İşaret dili ise, engelli kişilerin hem kendi aralarında hem de bu dili bilen engelsiz kişilerle jest, mimik ve vücut hareketleriyle anlaşmalarını sağlayan bir dil olarak tanımlanır. Bu anlamda Nesnelerin İnterneti üzerinden anlam çözümlenme modelleri ile web (ağ) ortamında çalışmasına yönelik geliştirilen bu çalışma, duyma ve konuşma bozukluğu olan kişilerle işaret dilini bilmeyenler arasındaki iletişimi sağlayan bir Türkçe İşaret Dili Çeviri Sistemidir. Gerçekleştirilen bu sistemle; işaret dilini gösteren el hareketleri, derinlik kamerasıyla yakalanmış, MQTT (Message Queuing Telemetry Transport /Sıralı Telemetri Mesaj İletimi) sunucusuna gönderilmiştir. Gönderilen bu görüntüler Üç Boyutlu Modelleme ve Hareket Analizinde kullanılan yapay sinir ağları algoritmaları ve makine öğrenmesi yöntemleri ile analiz edilmiştir. Analiz edilen görüntülerden elde edilen sözcüklerin gerçek anlamları ise, Biçimsel Kavram Analizi Teorisi ile hazırlanan tematik rollerden oluşan gerçeklik modelleriyle bulunmuştur. Gerçek anlamları bulunan bu kelimeler, içinde geçtiği cümle ile birlikte lokal ağ ortamında yayınlanmıştır. Böylece, engelli bir kişi aynı veya farklı mekanlarda yer alan kişi veya kişilerle iletişim kurabilmiştir. 

In daily life, people communicate by conveying their emotions, thoughts, and experiences to the people around them with or without language. Hovewer, persons who do not have speech and hearing skills make this communication with their environment by using sign language. As for that the sign language is defined as a language enabling handicapped persons communicate through gesture, mimic and body movements between themselves and with other persons who know this language. In this sense, this work developed for its functioning at the web medium through the semantic analysis models over the Internet of Things is a Turkish Sign Language Translation System which provides a communication opportunity between hearing impaired and speech handicapped persons and those who do not know the sign language. Through this system, movements of hands reflecting the sign language were captured by a depth camera and sent to the MQTT (Message Queuing Telemetry Transport) server. These images were analysed by means of the methods of three dimensional modelling, artificial neural networks algorithms used at movement analysis and machine learning. Real meanings of the words obtained from the analysed images were found through the reality models consisting of thematic roles prepared in accordance with the Formal Concept Analysis Theory. These words the real meanings of which had been identified were published at the local network medium together with the sentence that they had been mentioned. Thus, a handicapped person could communicate with other person or persons being at the same place or elsewhere.