التعرف على لغة الإشارة العربية في الوقت الحقيقي باستخدام التعلم العميق

الملخص

تُعتبر لغة الإشارة الطريقة الأكثر تعبيراً وفاعليةً لتمكين ضعاف السمع من الانغماس في الأنشطة الاجتماعية وتحسين قدرات التواصل الاجتماعي لديهم، إلا أن أنظمة التعرف على لغة الإشارة لاسيما لغة الإشارة العربية تواجه عدة تحديات تجعل دقة التعرف الخاصة بها غير جيدة.

يهدف هذا البحث إلى تطوير نظام للتعرف على لغة الإشارة العربية باستخدام تقنيات التعلم العميق، وعلى وجه التحديد بنية الشبكات العصبية التلافيفية CNN. يهدف النظام إلى سد فجوة التواصل للأشخاص ضعاف السمع مع محيطهم من خلال ترجمة إيماءات لغة الإشارة العربية تلقائياً إلى نص مكتوب، حيث تم اختبار أداء أربعة بنى معمارية من نماذج CNN وهي: نموذج CNN مخصص،  VGG-16، MobileNet V1، MobileNet V2 على مجموعتي بيانات للغة الإشارة العربية إحداهما تم بناؤها يدوياً ومعترف بها من قبل جمعية رعاية الصم والبكم في مدينة حمص. أظهرت النتائج أن نموذج MobileNet V2 حقق أعلى دقة بلغت 96% على مجموعة البيانات المبنية، مع إمكانية تضمين هذا النموذج  ضمن تطبيق على منصات الويب والأجهزة المحمولة لترجمة لغة الإشارة العربية لنص في الوقت الحقيقي.