Ilmu di Balik Penginderaan Gerak Ultrasonik untuk Echo – Musim gugur yang lalu, Amazon memperkenalkan deteksi gerakan berbasis ultrasound , untuk memungkinkan pelanggan Alexa memulai Rutinitas , atau urutan tindakan yang telah ditentukan sebelumnya, ketika jenis gerakan tertentu terdeteksi (atau tidak terdeteksi). Misalnya, Rutinitas dapat dikonfigurasi untuk secara otomatis menyalakan lampu, memutar musik, atau mengumumkan cuaca atau lalu lintas ketika gerakan terdeteksi di dekat perangkat Echo pelanggan, yang menunjukkan bahwa seseorang telah memasuki ruangan.
Ilmu di Balik Penginderaan Gerak Ultrasonik untuk Echo
brainmysteries – Ada banyak teknologi pendeteksi gerakan yang berbeda, tetapi kami memilih ultrasound karena berfungsi dalam kondisi cahaya rendah atau bahkan dalam gelap dan, tidak seperti gelombang radio, gelombang ultrasound tidak merambat melalui drywall, sehingga risiko mendeteksi gerakan di ruangan lain lebih kecil.
Membuat teknologi bekerja pada perangkat keras Echo yang ada memerlukan inovasi di sejumlah bidang — antara lain, mengurangi alarm palsu dengan mengambil sampel data ekor panjang secara memadai; merancang fitur kalibrasi sendiri untuk menyesuaikan dengan variasi perangkat keras komoditas; dan menyaring distorsi selama deteksi ultrasound dan pemutaran musik secara bersamaan. Kami menjelaskan detailnya di bawah ini.
Baca juga : Metode baru mengidentifikasi akar penyebab outlier statistik
Deteksi kehadiran berbasis ultrasound
Dengan deteksi kehadiran berbasis ultrasound (USPD), sinyal ultrasonik (>=32 kHz) ditransmisikan melalui pengeras suara onboard, dan perubahan sinyal yang diterima di mikrofon dipantau untuk mendeteksi gerakan.
Sensor ultrasonik dapat dikategorikan secara luas menggunakan penginderaan Doppler atau penginderaan waktu terbang. Dalam penginderaan Doppler, setelah sinyal ditransmisikan, sistem mendeteksi gerakan dengan mencari pergeseran frekuensi dalam spektrum sinyal yang direkam, yang disebabkan oleh pantulannya dari objek yang bergerak. Pergeseran frekuensi ini mirip dengan pergeseran frekuensi suara yang Anda dengar di sirene mobil polisi yang mendekati Anda atau menjauh dari Anda.
Dalam penginderaan waktu penerbangan, variasi waktu kedatangan sinyal yang dipantulkan dipantau untuk mendeteksi perubahan di lingkungan. Kami menggunakan penginderaan Doppler karena kekokohan sinyal deteksi gerakannya dan karena itu digeneralisasi dengan baik di seluruh kasus ketika Alexa memutar audio atau tidak secara bersamaan.
Besarnya sinyal pergeseran Doppler tergantung pada faktor-faktor seperti jarak dari target ke sumber, ukuran dan koefisien penyerapan target, koefisien penyerapan ruangan, dan bahkan kelembaban dan suhu di dalam ruangan. Selain itu, ketika seseorang bergerak melalui ruang tertutup, kami tidak hanya mengamati beberapa komponen Doppler karena berbagai bagian tubuh bergerak ke arah yang berbeda dengan kecepatan yang berbeda, tetapi kami juga mengamati pengulangan komponen tersebut karena pemantulan.
Karena semua kerumitan ini, sinyal yang diterima di sumber sama sekali tidak sebersih nada tunggal dengan pergeseran frekuensi. Dalam praktiknya, apa yang kami amati terlihat lebih seperti ini:
Selanjutnya, benda bergerak seperti kipas angin dan gorden memperkenalkan pergeseran Doppler mereka sendiri, yang harus ditolak karena tidak selalu menunjukkan kehadiran orang. Di bawah ini adalah dua spektogram, satu ruangan tanpa gerakan selain kipas lantai yang berputar dan yang lainnya dengan kipas dan gerakan manusia di dekat perangkat. Seperti yang bisa dilihat, mereka sulit dibedakan.
Komplikasi ini berarti bahwa pemrosesan sinyal konvensional tidak cukup untuk mengenali gerakan manusia dari sinyal pergeseran Doppler. Jadi kami malah menggunakan deep learning, yang seharusnya bisa mengenali pola sinyal yang lebih heterogen.
Di bawah ini adalah diagram blok tingkat tinggi dari algoritma USPD kami. Di sisi pemancar sinyal, sinyal ultrasound optimal yang bergantung pada perangkat dan lingkungan ditransmisikan melalui loudspeaker onboard. Sinyal ini dipantulkan dari objek yang bergerak dan kemudian ditangkap oleh susunan mikrofon onboard. Sinyal tersebut diproses sebelumnya dan kemudian diteruskan ke pengklasifikasi berbasis jaringan saraf untuk mendeteksi gerakan.
Alarm palsu
Tantangan algoritmik terbesar yang kami hadapi adalah mencapai akurasi deteksi tinggi sambil menjaga tingkat alarm palsu tetap rendah. Mengurangi tingkat alarm palsu sangat menantang karena masalah ekor panjang yang terkenal di AI: ada banyak peristiwa langka yang dapat menipu detektor, tetapi kelangkaannya berarti bahwa mereka biasanya kurang terwakili dalam data pelatihan.
Untuk mengatasi masalah ini, kami memulai dengan melatih model benih pada jumlah data yang relatif kecil. Pertama, kami menggunakan model benih untuk menyortir sejumlah besar data dan mengekstrak kejadian yang jarang terjadi. Kedua, kami menggunakan model yang dilatih pada data peristiwa langka tersebut untuk secara otomatis menangkap peristiwa yang jarang terjadi selama proses pengumpulan data internal kami. Data yang diambil dengan metode ini akhirnya membantu kami mengatasi masalah ekor panjang dan mencapai tingkat alarm palsu yang sangat rendah.
Tantangan penerapan
Menyebarkan model terlatih membawa tantangan tersendiri. Kami ingin mengaktifkan USPD dengan tingkat emisi serendah mungkin, sambil tetap mempertahankan jangkauan deteksi yang memadai, dan melakukan semua ini tanpa biaya perangkat keras tambahan (yaitu, menggunakan mikrofon dan pengeras suara yang tersedia pada perangkat Echo alih-alih pemancar ultrasound khusus). Selanjutnya, kami memutuskan untuk mendukung deteksi gerakan yang selalu aktif. Ini berarti dapat mendeteksi gerakan bahkan saat pengguna memutar musik dari speaker perangkat. Terakhir, kami menambahkan algoritme untuk meningkatkan pengalaman pengguna dengan hanya adanya gerakan kecil dan menghabiskan banyak upaya untuk mendukung tujuan Amazon dalam mengurangi konsumsi daya perangkat kami. Kami menjelaskan ini secara lebih rinci di bawah ini.
Variasi perangkat keras dan kondisi lingkungan
Menggunakan pengeras suara dan mikrofon onboard untuk transmisi dan penginderaan ultrasound berarti kami harus mengelola karakteristik akustik yang bervariasi. Perangkat yang diproduksi secara massal diketahui memiliki variasi tertentu dalam amplitudo dan respons fase, dan sangat sulit untuk mengontrol respons pengeras suara dalam rentang frekuensi ultrasonik tanpa mempengaruhi tingkat hasil. Untuk mengelola variasi perangkat keras dan variasi lingkungan ini, kami merancang modul kalibrasi perangkat otomatis untuk menyesuaikan frekuensi dan tingkat emisi dengan keistimewaan perangkat keras dan sifat akustik ruangan tempat perangkat tersebut digunakan. Ini membantu kami memberikan pengalaman pengguna yang konsisten di seluruh perangkat tanpa meningkatkan biaya perangkat.
Sensing dengan pemutaran musik bersamaan
Pemutaran musik adalah kasus penggunaan utama untuk perangkat Echo, yang menimbulkan tantangan, karena kami menggunakan pengeras suara perangkat untuk memutar musik dan memancarkan ultrasound secara bersamaan. Khususnya, ketika konten musik frekuensi rendah (seperti suara bass) dimainkan bersama dengan sinyal ultrasonik, distorsi muncul sebagai noise di wilayah ultrasound. Kebisingan ini tidak terdengar oleh pendengar, tetapi mengganggu frekuensi yang kita gunakan untuk penginderaan.
Untuk meningkatkan sinyal ultrasound dan mendapatkan kinerja jangkauan yang wajar dengan adanya musik bersamaan, kami mengembangkan algoritme adaptif yang menggunakan besaran dan fase yang berbeda dari distorsi dan fitur gerak pada mikrofon yang berbeda untuk mengidentifikasi dan menghilangkan distorsi.
Gerak mayor dan minor
Gerakan manusia dapat secara luas dikategorikan sebagai besar atau kecil . Gerakan utama termasuk berjalan ke dalam atau melalui suatu area, sementara gerakan kecil termasuk meraih telepon sambil duduk, membalik halaman buku, membuka folder file, dan mengambil cangkir kopi. Mendeteksi gerakan kecil itu sulit, karena spektrum ultrasound mereka memiliki rasio signal-to-noise (SNR) yang sangat rendah dibandingkan dengan gerakan besar, dan mendeteksi kejadian SNR rendah sering kali berarti tingkat positif palsu yang tinggi. Pada saat yang sama, mendeteksi gerakan kecil sangat penting untuk mengenali keberadaan pengguna yang berkelanjutan setelah masuk ke dalam ruangan.
Kami mengembangkan algoritme yang mengubah sensitivitas detektor berdasarkan konteks, seperti waktu yang berlalu sejak pergerakan besar terakhir. Setelah pelanggan masuk ke ruangan, perangkat beroperasi dengan sensitivitas tinggi untuk mendeteksi gerakan kecil untuk penginderaan kehadiran yang berkelanjutan, sehingga kami dapat memberikan yang terbaik dari kedua dunia — sensitivitas tinggi terhadap gerakan dan tingkat alarm palsu yang rendah.
Mode daya rendah
Mengurangi konsumsi daya adalah tujuan penting di Amazon, jadi kami menerapkan solusi kami pada prosesor sinyal digital (DSP) berdaya rendah. Ini membutuhkan banyak kode dan optimasi arsitektur jaringan saraf.
Secara khusus, sebagai sistem waktu nyata, DSP memiliki jadwal dan anggaran komputasi yang ketat. Hal ini mencegah kami menerapkan model jaringan saraf yang lebih dalam, tetapi kami berhasil menukar latensi deteksi (pada urutan 50 milidetik) untuk akurasi yang lebih tinggi dengan menggabungkan model saraf kami dengan implementasi DSP khusus. Selain itu, kami menonaktifkan emisi ultrasonik jika tidak penting; misalnya, kami menonaktifkan emisi untuk periode waktu tertentu setelah mendeteksi keberadaan.