220411100168

Bahasa isyarat merupakan sebuah bahasa yang digunakan dalamrnberkomunikasi antara penyandang disabilitas. Di Indonesia, bahasa isyarat terbagi menjadi dua, yaitu Sistem Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO). BISINDO merupakan bahasa isyarat yang sering digunakan oleh komunitas penyandang tunarungu di Indonesia karena lebih mudah dimengerti. Untuk melakukan pengenalan gerakan isyarat BISINDO dibutuhkan video preprocessing.rnSalah satu metode yang digunakan dalam video preprocessing untuk pengenalan gerakan bahasa isyarat adalah Video VisionrnTransformer (ViViT). Pada prosesnya, tubelet embedding digunakan untuk menghasilkan token pada video. Sehingga video akan membentuk sebuah tube yang akan berisi informasi setiap token. Kemudian dilanjutkan dengan positionalrnembedding untuk memberikan informasi posisi pada setiap frame. Setelah melalui tahapan tersebut, data video diproses oleh transformer encoder untuk menghasilkan output class. Pada tahap transformer encoder terdapat prosesrnmulti-head attention untuk mendapatkan informasi-informasi dari gerakan video untuk mendapatkan output class. Evaluasi model menggunakan F1-Score untuk mengetahui performa model serta mendeteksi kemungkinan overfitting atau underfitting pada setiap class. Penelitian ini menggunakan dataset BISINDO dari Kaggle yang terdiri dari 40 class kata dengan masing-masing 50 video. Tujuanrnpenelitian ini untuk melakukan pengenalan gerakan bahasa isyarat BISINDO menggunakan ViViT dan mencari performa terbaik model dari pengujian frame 2, 4, 8, 16, 32, dan 64. Hasil penelitian ini, mendapatkan model memiliki performarnyang sangat baik dalam mengenali gerakan bahasa isyarat. Terutama pada model dengan menggunakan frame-32 yang menghasilkan nilai F1-Score yang sangat tinggi yang mencapai nilai 0.9844 dengan waktu komputasi 763 detik.