Rastreamento de movimento com machine learning

Ver processos que, claramente, poderiam ser otimizados ainda dependerem de observação e anotação manual sempre me incomoda. Recentemente, essa questão se manifestou em uma situação bastante específica: um amigo inaugurou um estúdio de pilates e desejava monitorar a evolução e a consistência da forma de seus alunos em exercícios-chave. O desafio era evidente: ele não podia estar em múltiplos lugares simultaneamente, e a revisão manual de horas de gravação para cada aluno era humanamente inviável. Além disso, a avaliação carecia de objetividade.

O intuito inicial era proporcionar aos alunos um feedback mais quantificável. Algo como “sua amplitude de movimento no agachamento melhorou X%”, ou “você está inclinando o tronco Y graus a mais que o ideal”. Naquele instante, percebi: esta é uma problemática perfeita para ser abordada com machine learning e automação. Era necessário um método para rastrear o movimento, quantificar as ações e, naturalmente, registrar os resultados em um formato acessível, como uma planilha do Google Sheets, para que ele pudesse acompanhar o progresso da turma.

Foi a partir daí que o projeto ganhou complexidade. A promessa do rastreamento de movimento com machine learning é vasta, contudo, a implementação prática invariavelmente se revela mais desafiadora que a teoria. Lidar com vídeo, processamento em tempo real (ou quase), extração de dados e, posteriormente, conferir sentido a todas essas informações, não é uma tarefa trivial. Todavia, como de costume, enfrentamos os desafios de frente para encontrar uma solução.

Desvendando o Rastreamento de Movimento com Machine Learning na Prática

Para profissionais de dados e automação, a concepção de capacitar uma máquina a "ver" e "compreender" eventos em um vídeo beira o poético. Em nosso contexto, o objetivo era particular: identificar pontos cruciais no corpo (os chamados keypoints) e monitorar sua posição e movimento ao longo do tempo. Esta abordagem nos forneceria os dados brutos indispensáveis para analisar forma, velocidade, amplitude e outras métricas relevantes.

Do Vídeo aos Dados Estruturados: A Essência do Processo

A etapa inicial consiste em converter o fluxo contínuo de um vídeo em um formato manipulável. Aqui, o Python assume um papel central. É inegável sua importância quando o assunto é processamento de vídeo e ML.

Para iniciar nesse domínio, minha ferramenta de eleição é o MediaPipe, da Google. Este é um framework de código aberto que oferece soluções pré-treinadas para diversas tarefas, incluindo detecção de pose, mãos e rosto. Para um rastreamento completo do movimento corporal, o MediaPipe Pose ou o MediaPipe Holistic (que integra pose, rosto e mãos) são escolhas altamente eficazes. Eles empregam modelos de deep learning otimizados que operam com excelente desempenho, mesmo em hardware mais modesto, o que é uma vantagem considerável quando não se dispõe de um servidor com GPU de ponta à disposição.

O fluxo de trabalho básico desenrola-se da seguinte forma:

1. Captura do Vídeo: O material pode ser um arquivo local ou um stream de webcam. No cenário do estúdio, os alunos gravavam vídeos curtos usando seus celulares.
2. Processamento Frame a Frame: Utiliza-se o OpenCV para ler o vídeo e decompô-lo em quadros (frames).
3. Detecção de Keypoints: Em cada quadro, o MediaPipe é acionado. Ele identifica os keypoints (pontos como ombros, cotovelos, joelhos, tornozelos) e retorna as coordenadas (X, Y, Z) para cada um deles. A coordenada Z é particularmente útil para inferir a profundidade, ainda que sua precisão não se compare à de um sensor 3D dedicado.
4. Extração e Estruturação dos Dados: As coordenadas dos keypoints de cada frame constituem nossa matéria-prima. Para um exercício de 30 segundos, filmado a 30 quadros por segundo, o resultado são 900 conjuntos de coordenadas! É imperativo que estes dados sejam salvos de maneira organizada, tipicamente em um formato como JSON ou CSV, que pode ser posteriormente lido pelo Python para análise.

Normalmente, emprego um script Python para encapsular todo esse procedimento. Ele recebe o caminho do vídeo, executa a detecção e, ao final, fornece um arquivo CSV contendo as coordenadas de cada keypoint para cada frame. O formato é conciso: `frame_id, keypoint_name, x, y, z`.

Das Coordenadas Brutas aos Insights: O Papel do Machine Learning

Dispor das coordenadas é um bom começo, mas qual o próximo passo? É neste ponto que o machine learning começa a conferir significado aos números. Não basta ter uma profusão de coordenadas; é preciso extrair features (características) que realmente descrevam o movimento de maneira útil. O processo é análogo a transformar dados brutos de um sensor em indicadores de performance para um painel de controle.

Para o caso do pilates, algumas features críticas incluem:

• Ângulos de Articulações: O cálculo de ângulos de joelho, cotovelo, quadril e ombro é fundamental para avaliar a flexão e extensão corretas. Exemplo: "O ângulo do joelho no ponto mais baixo do agachamento foi de 90 graus".
• Distâncias entre Keypoints: A distância entre o calcanhar e o quadril, por exemplo, pode ser um indicador da extensão da perna.
• Velocidade e Aceleração: Analisa-se como um keypoint se desloca de um frame para outro. Uma execução excessivamente rápida ou lenta pode sinalizar um problema.
• Trajetória: Refere-se ao percurso que um keypoint descreve. Uma trajetória irregular pode indicar instabilidade no movimento.

A biblioteca NumPy é excepcional para a execução desses cálculos vetoriais. Para determinar ângulos, emprega-se a lei dos cossenos ou a função `arctan2`, após a criação de vetores a partir das coordenadas dos keypoints. Por exemplo, para calcular o ângulo do joelho, as coordenadas do quadril, joelho e tornozelo seriam necessárias.

Com essas features extraídas, podemos então avançar para a aplicação efetiva do Machine Learning. Duas abordagens são amplamente utilizadas:

1. Classificação de Movimentos:

Se o objetivo é discernir se um movimento é "correto" ou "incorreto", ou se ele pertence a uma categoria específica (ex: "agachamento", "prancha", "flexão"), estamos diante de um problema de classificação. Para tal, é imprescindível um conjunto de dados rotulado. Isso significa que são necessários vídeos onde um especialista (ou eu) designe: "este é um agachamento perfeito", "este é um agachamento com inclinação excessiva do tronco", entre outros.

Ferramentas como o scikit-learn do Python são ideais para essa finalidade. Modelos como SVM (Support Vector Machine), Random Forest ou até mesmo uma Rede Neural (Keras/TensorFlow) mais compacta, para cenários com dados mais complexos, podem ser empregados. O fluxo de trabalho consistiria em:

• Coletar vídeos de diversas execuções (tanto adequadas quanto inadequadas).
• Processar os vídeos para extrair os keypoints e, subsequentemente, as features (ângulos, velocidades, etc.).
• Rotular manualmente cada segmento de movimento no dataset (Ex: "Boa forma", "Má forma").
• Treinar um classificador utilizando essas features e seus respectivos rótulos.

O principal desafio aqui reside na coleta e rotulagem dos dados, uma tarefa que exige esforço manual e tempo considerável, mas que é decisiva para a qualidade do modelo final.

2. Análise de Anomalias/Desvios:

Uma alternativa é estabelecer um "padrão-ouro" de movimento e, a partir dele, identificar desvios. Isso pode ser alcançado sem um treinamento de classificação explícito, utilizando análises estatísticas. Por exemplo, é possível calcular a média e o desvio padrão dos ângulos de articulação a partir de múltiplos "bons movimentos" e emitir um alerta quando um novo movimento se afasta significativamente desses limites. Esta abordagem é mais direta que o treinamento de um classificador e pode ser bastante eficaz para o fornecimento de feedback de performance.

A Integração da Automação: Google Sheets e Apps Script

A execução do script Python em minha máquina é valiosa, porém, a meta era que meu amigo pudesse utilizá-lo em sua rotina diária. É neste ponto que as automações e APIs se tornam essenciais para completar o ciclo.

Exemplo de Fluxo de Automação:

1. Armazenamento do Vídeo: O aluno grava o vídeo e o envia para uma pasta designada no Google Drive.
2. Acionamento da Automação (Apps Script): Um script no Apps Script pode ser configurado para monitorar esta pasta. Ao detectar um novo vídeo, ele extrai o ID do arquivo.
3. Envio para Processamento (API + Python): O Apps Script realiza uma chamada HTTP para uma API desenvolvida por mim, utilizando Flask (Python). Esta API está hospedada em um servidor compacto (ou em um serviço como o Google Cloud Run para escalabilidade) e recebe o ID do vídeo do Drive.
4. Processamento do Vídeo (Python):
   • A API em Python utiliza a Google Drive API para baixar o vídeo.
   • Executa o script de detecção de keypoints e extração de features previamente mencionado.
   • Executa o modelo de Machine Learning (se for um classificador) ou a análise estatística.
   • Gera um relatório consolidado contendo as métricas de interesse (Ex: "Pontuação do agachamento: 85%", "Ângulo médio do joelho: 92 graus", "Detectada inclinação excessiva do tronco").
5. Registro dos Resultados (API + Google Sheets): Após o processamento, o script Python não retém os dados para si. Ele emprega a biblioteca `gspread` (ou faz uma requisição HTTP direta à Google Sheets API) para registrar esses resultados em uma nova linha de uma planilha específica do Google Sheets. Cada linha representaria um aluno, uma data e os resultados do exercício correspondente.
6. Notificação e Visualização (Apps Script + Sheets):
   • No Google Sheets, meu amigo tem acesso a um painel simplificado. Com a chegada de novos dados, ele pode visualizar gráficos atualizados.
   • O Apps Script pode ser configurado para, ao identificar uma nova linha na planilha de resultados, enviar um e-mail com um resumo para o aluno ou instrutor, baseado nos dados recém-processados.
   • Existe até a possibilidade de gerar um link temporário para o vídeo original processado (com os keypoints desenhados, caso o Python tenha sido configurado para tal) e incluí-lo no e-mail para um feedback visual mais rico.

Esta integração é o que transforma uma ferramenta de análise isolada em uma solução completa e funcional. O Apps Script atua como uma ponte entre a interface do usuário (Sheets/Drive) e o backend de processamento intensivo (Python/ML), enquanto as APIs funcionam como o conector que une todas as partes. Representa a combinação ideal de praticidade e tecnologia avançada.

Para meu amigo, a planilha tornou-se um painel de desempenho dos alunos. Ele conseguia identificar rapidamente quem enfrentava dificuldades em certos exercícios, quem progredia e, o mais importante, dispunha de dados objetivos para discussões individualizadas. Tudo isso sem a necessidade de abrir um editor de código ou um terminal.

Dicas Práticas Comprovadas

Após superar alguns obstáculos e alcançar sucessos, compilei algumas dicas que foram extremamente úteis nesta empreitada:

1. Sempre Inicie com o MediaPipe: Para detecção de pose, rosto ou mãos, ele representa o ponto de partida mais robusto e de fácil implementação. Abstrai grande parte da complexidade dos modelos de deep learning, entregando dados de keypoints de alta qualidade com agilidade. Evite reinventar a roda, a menos que uma personalização extrema seja indispensável.
2. Priorize a Engenharia de Features, não Apenas o Modelo: Um modelo de Machine Learning robusto, mas com features inadequadas, é ineficaz. Invista tempo na compreensão de quais ângulos, velocidades e distâncias realmente descrevem o movimento que você deseja analisar. Muitas vezes, um algoritmo simples, munido das features corretas, supera um modelo complexo de deep learning com features genéricas.
3. Amostragem Inteligente: Não é sempre necessário processar todos os 30 frames por segundo. Para certos movimentos, coletar um frame a cada 5 ou 10 já pode ser suficiente para capturar a essência. Isso resulta em significativa economia de tempo de processamento e custo computacional. No entanto, para movimentos rápidos ou altamente detalhados, uma taxa de amostragem mais elevada pode ser crucial. Entenda a natureza do seu movimento.
4. Visualize Keypoints e o Esqueleto: É virtualmente impossível depurar um modelo ou um script de extração de features sem observar o que ele está "percebendo". Utilize o OpenCV para renderizar os keypoints e suas conexões (o esqueleto) de volta nos frames do vídeo. Esta prática revela problemas de detecção, ocultações e erros de cálculo em questão de segundos, sendo sua principal aliada para compreender o funcionamento interno do sistema.
5. Construa em Etapas Iterativas: Evite a tentação de resolver o problema integral de uma só vez. Comece pelo script que extrai as coordenadas do vídeo. Em seguida, desenvolva o que calcula os ângulos. Posteriormente, o modelo de ML. Somente então, planeje a integração completa. Cada pequena conquista aumenta a confiança e simplifica o processo de depuração.

Erros Comuns e Lições Aprendidas

Os erros são, sem dúvida, a parte mais instrutiva de qualquer projeto – e, depois de resolvidos, até divertida. No rastreamento de movimento, eles são frequentes:

1. Ignorar a qualidade da entrada de vídeo:

Já dediquei inúmeras horas otimizando um modelo de ML, ajustando hiperparâmetros e testando diversos algoritmos, apenas para, no final, constatar que o problema residia na baixa qualidade dos vídeos de entrada. Câmeras tremendo, iluminação deficiente, pessoas parcialmente fora do enquadramento. Embora o MediaPipe e outros modelos de pose sejam avançados, não operam milagres. Se o modelo falha em identificar os keypoints de forma consistente, qualquer análise subsequente estará comprometida. A solução, que se tornou óbvia em retrospecto, foi elaborar um "guia de gravação" para os usuários, com orientações sobre enquadramento, iluminação e distância. Inclusive, implementei um filtro de validação inicial em Python para descartar vídeos de má qualidade antes de consumir recursos no processamento.

2. Não tratar a oclusão de keypoints de forma inteligente:

Em movimentos complexos, ou quando o indivíduo gira, é comum que alguns keypoints fiquem ocultos (por exemplo, atrás de outra parte do corpo). O MediaPipe tenta estimar, mas nem sempre com precisão. Cometi o erro de simplesmente utilizar as coordenadas retornadas pelo modelo, mesmo quando o nível de confiança era baixo ou o ponto estava claramente obstruído. Isso resultava em ângulos e distâncias completamente distorcidos. Foi necessário implementar uma lógica para verificar o "score de visibilidade" do keypoint. Se esse score fosse muito baixo, havia duas opções: desconsiderar aquele frame para o cálculo específico (se fosse uma ocorrência pontual) ou interpolar a posição do keypoint com base em frames anteriores e posteriores (para oclusões breves). Em situações extremas, descartar o frame da análise era a melhor estratégia para evitar dados incorretos.

3. Tentar transformar o Google Sheets no motor principal da operação:

Sou um entusiasta do Sheets e do Apps Script para diversas automações, mas eles possuem limitações inerentes. Presenciei tentativas de puxar URLs de vídeos diretamente para o Apps Script, de buscar APIs de processamento de imagem que prometiam "mágica", ou até mesmo de realizar cálculos trigonométricos complexos e interações em tempo real usando apenas as funções da planilha. Isso é um equívoco grave. O Sheets é projetado para visualização, agregação e acionamento de automações mais leves. O Apps Script destina-se à orquestração e interações com APIs. O processamento intensivo de vídeo, a detecção de keypoints, a extração de features e o treinamento/inferência de modelos de ML são tarefas para o Python, executadas em um ambiente apropriado (seu computador, um servidor ou um serviço de nuvem). Forçar o Sheets a atuar como um centro de processamento de visão computacional resultará em lentidão, custos inesperados e grande frustração.

FAQ - Rastreamento de Movimento com Machine Learning

P: Consigo implementar um sistema de rastreamento de movimento com ML sem ter um background profundo em ciência de dados ou visão computacional?

R: A resposta é um misto de sim e não. A parte de "sem programar" é bastante desafiadora. Para extrair os keypoints e executar os cálculos de features, será necessário escrever código em Python, utilizando bibliotecas como OpenCV, MediaPipe e NumPy. Essas ferramentas simplificam consideravelmente a tarefa, abstraindo a complexidade dos modelos de deep learning, mas o conhecimento sobre seu uso é indispensável. A parte de "sem background profundo em ciência de dados" é mais factível se você se concentrar em soluções como o MediaPipe (que já fornece os pontos detectados) e em análises baseadas em regras e cálculos de ângulos/distâncias. Para problemas de classificação mais complexos, que exigem o treinamento de um modelo do zero ou o fine-tuning, um entendimento básico de ML (tipos de modelos, engenharia de features, validação) é bastante útil. Contudo, com as bibliotecas atuais, é possível iniciar a experimentação sem ser um especialista em nível de doutorado.

P: Qual o custo de processar vídeos em escala para rastreamento de movimento? É viável para pequenas operações?

R: O custo apresenta grande variabilidade. Se os vídeos forem processados localmente, em seu próprio computador, o custo é praticamente nulo (desconsiderando o tempo de CPU e energia). Isso é perfeitamente viável para pequenas operações com um volume limitado de vídeos. No entanto, se houver necessidade de processar muitos vídeos rapidamente ou de oferecer um serviço em tempo real, recursos em nuvem serão indispensáveis. Serviços como Google Cloud Run, AWS Lambda ou um servidor virtual (VM) de menor porte podem hospedar sua API Python. O custo estará diretamente associado ao tempo de processamento (CPU/GPU) e ao armazenamento dos vídeos e dos dados resultantes. Para uma operação pequena, um Cloud Run com alguns GB de RAM e CPU é relativamente acessível, situando-se na faixa de alguns a dezenas de dólares por mês, conforme o volume. A chave reside em otimizar seu código Python para ser eficiente e evitar processamento desnecessário, como detalhado na dica de "amostragem inteligente", a fim de manter os custos controlados.

Pode parecer um desafio imenso à primeira vista, mas o rastreamento de movimento com machine learning é uma ferramenta poderosa quando se compreende onde aplicá-la e como integrá-la. Não se trata de uma solução mágica, mas com as ferramentas certas e uma boa dose de persistência, é possível resolver problemas que antes pareciam intransponíveis ou excessivamente custosos. E, como bônus, eliminar a necessidade de observar e analisar cada detalhe manualmente.