Apple permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 1

Apple adicionou novos recursos √† sua estrutura Vision no iOS 14, iPadOS 14, tvOS 14 e macOS 11.0 Big Slur, que permite aos programadores oferecer suporte a intera√ß√Ķes interessantes de aplicativos sem tela.

Habilitando gestos com as m√£os nos aplicativos

Conforme explicado na Sess√£o Apple WWDC 2020, intitulada “Detecta poses de corpo e m√£o com vis√£o”, Atualizada Estrutura de vis√£o no iOS / iPadOS 14, o tvOS 14 e o macOS 11 usam novos algoritmos de vis√£o computacional para executar v√°rias tarefas em imagens e v√≠deos de entrada.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 2

Al√©m dos recursos anteriores, como detec√ß√£o de rosto e ponto de refer√™ncia, detec√ß√£o de texto, reconhecimento de c√≥digo de barras, registro de imagens, rastreamento geral de fun√ß√Ķes e classifica√ß√£o / detec√ß√£o de objetos, a plataforma agora suporta a detec√ß√£o de posi√ß√Ķes de corpo e m√£os em fotos e v√≠deos.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 3

Isso permite que os aplicativos analisem os gestos, movimentos e poses executados por corpos e m√£os humanos. Isso n√£o se limita √†s imagens est√°ticas, porque a estrutura atualizada √© capaz de executar esse tipo de an√°lise exigente em um canal de v√≠deo ao vivo a partir de uma c√Ęmera embutida no dispositivo do usu√°rio.

Por que você deve se preocupar com isso

Analisando as poses, movimentos e gestos das pessoas, os aplicativos que usam a estrutura podem oferecer vários novos recursos interessantes que antes não eram possíveis. Exemplos dados incluem um aplicativo de condicionamento físico que pode classificar de forma inteligente os movimentos do corpo.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 4

Ou um aplicativo de seguran√ßa que pode ajudar a treinar funcion√°rios na posi√ß√£o ergon√īmica correta.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 5

Outro exemplo mencionado na AppleSession dos desenvolvedores inclui um aplicativo de edi√ß√£o de v√≠deo que pode usar a plataforma para encontrar filmes com base na semelhan√ßa. √Č importante ressaltar que o analista de posi√ß√£o da palma da m√£o permite que os desenvolvedores insiram o reconhecimento de gestos em seus aplicativos.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 6

Acione a captura da c√Ęmera com um gesto espec√≠fico da m√£o

O suporte a gestos com as m√£os permite uma forma completamente nova de intera√ß√£o do aplicativo sem a tela, por exemplo, “desenho” no aplicativo movendo o dedo no ar sem tocar no visor. Outros exemplos incluem a f√°cil troca de modos de aplica√ß√£o, correspond√™ncia de emoji a gestos espec√≠ficos, acionamento do obturador da c√Ęmera com um gesto exclusivo da m√£o e muito mais.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 7

Correspondência de gestos com os símbolos emoji correspondentes

√Āreas para melhoria

O AppleFilm da sess√£o menciona que as fun√ß√Ķes mencionadas acima funcionam bem na grande maioria das posi√ß√Ķes comuns das m√£os e do corpo, mas existem algumas exce√ß√Ķes not√°veis.

Apple  permite que os desenvolvedores detectem o corpo humano e as mãos para interação sem a tela de um aplicativo 8

A detecção de mãos e corpo está disponível no iOS, iPadOS, tvOS e macOS

Usuários que usam luvas ou roupas em excesso podem deixar a armação cair. O mesmo se aplica à detecção da posição da mão e do corpo de pessoas que podem estar inclinadas ou parcialmente bloqueadas.

Pensamentos sobre gestos com as m√£os?

Você acha que precisamos de aplicativos que suportem gestos com as mãos?

O Applefilm da sessão fornece uma excelente visão geral de vários tipos específicos de aplicativos que poderiam se beneficiar desses novos recursos, mas e os outros aplicativos?

E, finalmente, as intera√ß√Ķes com aplicativos sem tela fazem algum sentido para voc√™?

Entre com seus pensamentos na seção de comentários abaixo!