Google Perkenal Ciri Terjemahan Bahasa Isyarat Kepada Teks, Kini Hadir Pada Pixel 11

Posted on

Google kini membawa teknologi kecerdasan buatan (AI) yang boleh menterjemah bahasa isyarat kepada teks terus ke telefon pengguna menerusi siri Pixel 11.

Dikuasakan model sign-language-to-text (SL2T), teknologi ini membolehkan pengguna menggunakan bahasa isyarat untuk menaip, membuat carian di web, menyediakan mesej atau dokumen, malah memberi arahan kepada Gemini tanpa perlu menaip seperti biasa. Buat masa ini, ia menyokong terjemahan American Sign Language (ASL) kepada bahasa Inggeris melalui Gboard dan Live Transcribe.

Bukan sekadar membaca pergerakan tangan

Menariknya, SL2T bukan sekadar membaca pergerakan tangan. Ia direka untuk memahami bahasa isyarat sebagai bahasa semula jadi, termasuk pergerakan tangan, lengan, badan, kepala dan wajah, sebelum menterjemahkannya kepada teks.

Disebabkan bahasa isyarat mempunyai tatabahasa dan kosa kata tersendiri, model perlu memahami gabungan pelbagai pergerakan serta konteksnya untuk mengetahui maksud yang disampaikan, bukannya sekadar memadankan satu pergerakan dengan satu perkataan.

Keupayaan itu membolehkan pengguna menggunakan bahasa isyarat terus pada telefon untuk melakukan perkara yang biasanya memerlukan mereka menaip, termasuk membuat carian di web, menyediakan mesej atau dokumen dan memberikan arahan kepada Gemini.

Dalam Live Transcribe, pengguna juga boleh menggunakan bahasa isyarat untuk memberikan respons ketika berkomunikasi tanpa perlu menaip jawapan secara manual. Google berkata penguji awal mendapati penggunaan ASL lebih semula jadi dan pantas berbanding menaip dalam bahasa Inggeris.

Untuk membina SL2T, Google melatih model ini menggunakan lebih 100,000 jam data daripada lebih 50 bahasa isyarat, dengan kira-kira satu perempat daripadanya terdiri daripada data ASL. Google berkata pendekatan tersebut membantu model mempelajari ciri yang dikongsi antara bahasa, dialek dan tahap kemahiran yang berbeza.

Dari segi privasi, SL2T tidak menggunakan rakaman kamera asal untuk proses terjemahan. Sebaliknya, model pada peranti menggunakan MediaPipe Holistic untuk mengesan kedudukan titik pada tubuh pengguna, dan hanya koordinat geometri tersebut dihantar ke pelayan untuk diterjemahkan. Rakaman asal pula boleh dibuang serta-merta.

Google turut mengoptimumkan model ini untuk kegunaan sebenar dengan mengurangkan kelewatan (latency) ketika terjemahan, bagi memastikan model tidak menghasilkan teks apabila tiada bahasa isyarat dikesan dan meningkatkan prestasi dalam situasi seperti penggunaan sebelah tangan ketika sebelah tangan lagi memegang telefon.

Dalam penilaian FLEURS-ASL, SL2T mencatat skor 70 BLEURT dalam ujian zero-shot, yang menurut Google jauh lebih tinggi berbanding rekod terdahulu. Bagaimanapun, Google berkata beberapa kesilapan masih berlaku, termasuk ketika berdepan bahasa isyarat yang jarang digunakan, ejaan jari yang pantas, ayat pasif, gambaran objek atau pergerakan melalui bahasa isyarat serta konteks masa yang tidak jelas.

Dibangunkan bersama komuniti pekak

Google turut melibatkan komuniti Pekak dalam pembangunan SL2T, termasuk melalui proses pengumpulan data, kajian pengguna dan penilaian teknologi. Google DeepMind juga menubuhkan AI Sign Language Advisory Committee (AISLAC) yang menghimpunkan organisasi dan pakar daripada komuniti Pekak untuk memberikan pandangan terhadap pembangunan teknologi ini.

Buat masa ini, SL2T tersedia melalui Gboard dan Live Transcribe pada Pixel 11 tanpa caj tambahan, dengan sokongan untuk menterjemah ASL kepada bahasa Inggeris. Google berkata sokongan untuk lebih banyak bahasa isyarat dan peranti akan hadir pada masa akan datang.

Pada masa sama, Google DeepMind turut meneroka penggunaan teknologi ini untuk menjana bahasa isyarat, selain mengembangkan keupayaan AI berkaitan bahasa isyarat pada masa hadapan.

{suggest}