PENGENALAN ALFABET BAHASA ISYARAT TANGAN PADA CITRA DIGITAL MENGGUNAKAN PENDEKATAN CONVEX HULL DAN CONVOLUTIONAL NEURAL NETWORK (CNN)

Bahasa isyarat merupakan suatu sarana komunikasi dalam masyarakat, terlebih bagi penyandang tunarungu. Namun masyarakat pada umumnya masih sangat awam perihal bahasa isyarat, terlebih bahasa isyarat dipandang masyarakat umum bukanlah bahasa yang universal. Hal ini menyebabkan meningkatnya kesenjangan komunikasi komunitas tunarungu dengan masyarakat. Sementara itu metode komunikasi tertulis dirasa hanya efisien bila digunakan disaat tertentu. Berdasarkan hal ini, beberapa penelitian telah dilakukan untuk mempermudah masyarakat umum dalam mengenali bahasa isyarat. Salah satunya adalah pengenalan lewat citra digital. Selain itu, akhir-akhir ini tema machine learning menjadi topik yang hangat untuk dibahas, Namun pada beberapa penelitian yang sudah ada, penggunaan machine learning pada citra masih menggunakan masukan citra mentah yang diperoleh langsung dari penangkapan citra aslinya. hal ini berpotensi menangkap citra objek lain yang bukan menjadi parameter pengenalan objek dan juga dapat menghambat saat proses pembelajaran melalui machine learning. dalam penelitian ini Peneliti mencoba mengkombinasikan pengolahan citra digital dengan machine learning untuk mengenali gesture tangan yang menjadi alphabet bahasa isyarat dengan menggunakan Convex Hull pada saat proses preprocessing citra sebelum dimasukan dalam proses pembelajaran dengan metode bernama Convolutional Neural Network (CNN). Pada penelitian ini dilakukan pengenalan Bahasa isyarat tangan yang menggunakan data yang didapat dari Kaggle Dataset dengan jumlah class sebanyak 27 dan jumlah data image sebanyak 40.500 dengan jumlah 1500 data image untuk tiap class. Ujicoba pengenalan Bahasa isyarat dilakukan dengan menggunakan pendekatan Convex Hull dan Convolutional Neural Network dilakukan dengan 2 skenario ujicoba, dimana pada skenario 1 akan dilakukan ujicoba dengan variasi pembagian data dan dilakukan perbandingan antara sistem yang menggunakan Convex Hull dan CNN dengan sistem yang menggunakan CNN saja, sedangkan pada skenario 2 akan dilakukan ujicoba dengan variasi epoch menggunakan pembagian data terbaik dari skenario 1 lalu akan dilakukan perbandingan antara sistem yang menggunakan Convex Hull dan CNN dengan sistem yang menggunakan CNN saja. Pada skenario 1 dilakukan pengujian dengan variasi pembagian data 60:40, 70:30, da 80:20. Pada sistem yang menggunakan Convex Hull dan CNN akurasi rata-rata yang didapatkan adalah 98.49% sedangkan pada sistem yang menggunakan CNN saja tanpa Convex Hull akurasi rata-rata yang didapatkan adalah 96.43%. Setelah dibandingkan, sistem yang menggunakan Convex Hull dan CNN memiliki akurasi yang lebih tinggi dengan selisih sebesar 2.06%. Pada skenario 2 akan dilakukan pengujian dengan variasi epoch 20, 40, 60, 80, dan 100 menggunakan pembagian data 80:20. Pada sistem yang menggunakan Convex Hull dan CNN akurasi rata-rata yang didapatkan adalah 98.96%. Pada sistem yang menggunakan CNN saja akurasi rata-rata yang didapatkan adalah 98.45%. Setelah dibandingkan, sistem yang menggunakan Convex Hull dan CNN memiliki akurasi yang lebih tinggi dengan selisih sebesar 0.51%.