Penyandang tunarungu dalam berkomunikasi sering merasa kesulitan dalam menyampaikan pesan dan memahami pesan. Dalam berkomunikasi penyandang tunarungu menggunakan bahasa isyarat. Beberapa upaya sudah dilakukan untuk memperluas pemahaman bahasa isyarat di masyarakat yaitu dengan membuka pelatihan bahasa isyarat Bisindo untuk umum. Namun upaya tersebut dinilai kurang berhasil karena sedikitnya penerjemah disetiap daerah. Untuk mengatasi permasalahan tersebut peneliti mencoba membuat sebuah sistem yang dapat menerjemahkan gerakan tangan dan juga ekspresi wajah menjadi kosa kata yang digunakan dalam bahasa isyarat yaitu dengan mengimplementasikan metode HAR. HAR dapat mendeteksi gerakan manusia seperti mendeteksi gerakan berjalan, berdiri, berlari. Kemudian, untuk membaca ekspresi wajah peneliti menggunakan platfrom MediaPipe dan untuk pemengembangannya menggunakan Algoritma LSTM. Dataset diambil secara realtime dengan jumlah data 90, masing – masing terdiri dari 30 aksi bahasa isyarat tolong, 30 aksi bahasa isyarat terima kasih, aksi bahasa isyarat maaf. Pengujian kinerja sistem menggunakan confusion matrix dengan menghitung nilai akurasi, recall, precision dan F1-Score. Hasil pengujian menunjukkan bahwa sistem memiliki nilai akurasi 0.777778, recall 0.9, precision 0.9 dan F-1 Score 0.9.
Kata Kunci : Bahasa Isyarat, Human Activity Recognition, MediaPipe Holistics, LSTM