Zaawansowane rozpoznawanie gestów za pomocą kamer IR z dwoma soczewkami

Rozpoznawanie gestów umożliwia użytkownikom sterowanie interfejsami bez dotyku.Ten blog bada, jak działa rozpoznawanie gestów, jakie wymagania muszą spełniać moduły i wskazówki dotyczące wdrożenia go w urządzeniach.

Co sprawia, że urządzenie rozpoznawania gestów jest dobre

• Wysoka częstotliwość klatki w celu uchwycenia ruchu (zwykle szybkich huśtaw dłoni lub ruchów palców) bez rozmycia.

• Oświetlenie IR pomaga, gdy oświetlenie otoczenia jest ciemne lub niespójne.

• Podwójna soczewka do postrzegania głębi lub świadomości przestrzennej; pozwala odróżnić rękę od tła lub wykrywać trójwymiarowe gesty.

Algorytmy oprogramowania

Rozpoznawanie gestów zależy od przewodów przetwarzania obrazu: odejmowanie tła, wykrywanie ruchu, mapowanie głębokości (jeśli podwójna soczewka), klasyfikacja kształtów gestów, śledzenie trajektorii.Sprzęt modułu musi być wystarczająco czysty, obrazy o niskim poziomie hałasu, umożliwiające wydajne oprogramowanie.

Częste gesty

• Przewiń w lewo / w prawo, w górę / w dół: proste gesty kierunkowe.

• Przycisnąć lub rozszerzyć za pomocą palców, jeśli wystarczająco blisko.

• Gestie wskazywania lub patrzenia w środowiskach AR/VR.

• Kontrola systemu, taka jak objętość, przewijanie, przełączanie trybów w urządzeniach.

Integracja w urządzeniach

• czujniki montażowe na przednich płytach, w pobliżu strefy dłoni lub w ramkach do noszenia.

• Kalibracja: mapowanie pozycji dłoni na współrzędnych ekranu, kompensowanie odległości i orientacji.

• Oświetlenie: diody LED IR muszą być umieszczone w taki sposób, aby uniknąć cieni lub blasku z rąk lub otoczenia.

Wskaźniki wyników

• Dokładność: fałszywe pozytywy/negatywy w różnym oświetleniu.

• Czas reakcji: od gestu do działania musi być blisko czasu rzeczywistego (najlepiej mniej niż 50 ms w sumie).

• Robustność: toleruje zmiany tła, częściową okluzję, różne odcienie skóry.

Przykłady

• Słuchawki AR/VR sterujące menu lub widokiem zawartości gestami.

• Urządzenia inteligentnego domu: gest włączenia/wyłączenia świateł, regulacja suwaków itp.

• Interfejsy samochodowe, gdzie dotyk jest niepraktyczny.

• Publiczne wyświetlacze do beztakowej interakcji.

Wyzwania

• Interferencje IR otoczenia (światło słoneczne lub IR pochodzące z lamp).

• Odbicia rąk, zwłaszcza na błyszczących powierzchniach.

• Błędy w postrzeganiu głębokości, jeśli podwójne soczewki są źle ustawione lub kalibrowane.

OV6211 Umiejętności gestualne

OV6211 ′s IR LED, wysokie klatki obrazowe, podwójny obiektyw, niewielki rozmiar przyczyniają się do sprawnej konfiguracji rozpoznawania gestów.IR daje oświetlenie nawet w słabym świetleKompaktny rozmiar umożliwia osadzanie w pobliżu krawędzi wyświetlacza lub urządzeń do noszenia.

Wniosek

Rozpoznawanie gestów ma coraz większe znaczenie w nowoczesnych interfejsach.dobrze umieszczone mocowanie, i kalibracji, sterowanie gestami może być robustne i intuicyjne.