Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 1

Apple adicionou novos recursos à sua estrutura Vision no iOS 14, iPadOS 14, tvOS 14 e macOS 11.0 Big Slur, que permite aos programadores oferecer suporte a interações interessantes de aplicativos sem tela.

Habilitando gestos com as mãos nos aplicativos

Conforme explicado na Sessão Apple WWDC 2020, intitulada “Detecta poses de corpo e mão com visão”, Atualizada Estrutura de visão no iOS / iPadOS 14, o tvOS 14 e o macOS 11 usam novos algoritmos de visão computacional para executar várias tarefas em imagens e vídeos de entrada.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 2

Além dos recursos anteriores, como detecção de rosto e ponto de referência, detecção de texto, reconhecimento de código de barras, registro de imagens, rastreamento geral de funções e classificação / detecção de objetos, a plataforma agora suporta a detecção de posições de corpo e mãos em fotos e vídeos.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 3

Isso permite que os aplicativos analisem os gestos, movimentos e poses executados por corpos e mãos humanos. Isso não se limita às imagens estáticas, porque a estrutura atualizada é capaz de executar esse tipo de análise exigente em um canal de vídeo ao vivo a partir de uma câmera embutida no dispositivo do usuário.

Por que você deve se preocupar com isso

Analisando as poses, movimentos e gestos das pessoas, os aplicativos que usam a estrutura podem oferecer vários novos recursos interessantes que antes não eram possíveis. Exemplos dados incluem um aplicativo de condicionamento físico que pode classificar de forma inteligente os movimentos do corpo.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 4

Ou um aplicativo de segurança que pode ajudar a treinar funcionários na posição ergonômica correta.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 5

Outro exemplo mencionado na AppleSession dos desenvolvedores inclui um aplicativo de edição de vídeo que pode usar a plataforma para encontrar filmes com base na semelhança. É importante ressaltar que o analista de posição da palma da mão permite que os desenvolvedores insiram o reconhecimento de gestos em seus aplicativos.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 6

Acione a captura da câmera com um gesto específico da mão

O suporte a gestos com as mãos permite uma forma completamente nova de interação do aplicativo sem a tela, por exemplo, “desenho” no aplicativo movendo o dedo no ar sem tocar no visor. Outros exemplos incluem a fácil troca de modos de aplicação, correspondência de emoji a gestos específicos, acionamento do obturador da câmera com um gesto exclusivo da mão e muito mais.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 7

Correspondência de gestos com os símbolos emoji correspondentes

Áreas para melhoria

O AppleFilm da sessão menciona que as funções mencionadas acima funcionam bem na grande maioria das posições comuns das mãos e do corpo, mas existem algumas exceções notáveis.

Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 8

A detecção de mãos e corpo está disponível no iOS, iPadOS, tvOS e macOS

Usuários que usam luvas ou roupas em excesso podem deixar a armação cair. O mesmo se aplica à detecção da posição da mão e do corpo de pessoas que podem estar inclinadas ou parcialmente bloqueadas.

Pensamentos sobre gestos com as mãos?

Você acha que precisamos de aplicativos que suportem gestos com as mãos?

O Applefilm da sessão fornece uma excelente visão geral de vários tipos específicos de aplicativos que poderiam se beneficiar desses novos recursos, mas e os outros aplicativos?

E, finalmente, as interações com aplicativos sem tela fazem algum sentido para você?

Entre com seus pensamentos na seção de comentários abaixo!

Artigos Relacionados

Back to top button