DWPose

O DWPose estima pontos-chave do corpo, das mãos, do rosto e dos pés de pessoas em uma imagem. Em um fluxo de geração de imagens, seu papel é fornecer informações de pose a outro sistema; ele não transforma um prompt em um personagem pronto por conta própria. Avalie-o quando precisar de uma referência de pose que possa inspecionar e diagnosticar, especialmente se uma imagem gerada plausível puder esconder uma mão incorreta, uma pessoa ausente ou uma articulação invertida.

Este guia é uma revisão baseada nas fontes do projeto de pesquisa e de sua integração ONNX oficial, verificadas em 10 de setembro de 2026. Não executamos inferência de pose, medição de tempo nem comparação de imagens geradas para este artigo. O exemplo é uma proposta de avaliação, não um relato de teste bem-sucedido.

Revisões das fontes examinadas: código 3dca5db7, ficha do modelo 1a714410.

Entenda qual parte do fluxo cabe ao DWPose

O artigo do DWPose descreve a estimativa de pose do corpo inteiro e um método de destilação em duas etapas usado no treinamento dos estimadores. Essas etapas de treinamento não devem ser confundidas com duas etapas de inferência que o usuário precisaria executar em toda fotografia. O projeto publica modelos de vários tamanhos; o nome não identifica uma quantidade universal de parâmetros nem uma velocidade única. Artigo de pesquisa do DWPose.

Para diagnosticar problemas, separe quatro materiais: imagem de entrada, pessoas detectadas e pontos-chave, representação da pose enviada adiante e imagem final gerada. Salve todos durante a avaliação. Se o mapa de pose estiver errado, mudar o prompt dificilmente explicará o erro original. Se o mapa estiver certo, mas a imagem gerada o ignorar, a próxima investigação pertence às etapas seguintes.

Essa distinção é útil para referências de personagens. Imagine que um ilustrador queira uma figura segurando uma caixa pequena à frente do tronco. As mãos se sobrepõem ao objeto, um cotovelo está parcialmente oculto e outra pessoa aparece na borda da foto. Um figurino ou rosto convincente no resultado não comprova a transferência da pose. Defina a pessoa e as articulações importantes antes de julgar o apelo geral da imagem.

O DWPose não substitui um rig tridimensional medido, um sistema de captura de movimento ou uma avaliação de segurança específica da tarefa. Não deduza essas capacidades a partir de um desenho de esqueleto. Um pré-processador de pose pode ser útil sem atender a toda aplicação que usa a palavra “pose”.

Separe as coordenadas brutas do mapa desenhado

No exemplo ONNX oficial, o wrapper de corpo inteiro chama primeiro um detector de pessoas e depois um estimador de pose. Ele também calcula uma posição para o pescoço e remapeia os índices para sua representação no estilo OpenPose. Um consumidor que espera a ordem original da pesquisa precisa, portanto, conferir a interface real, sem presumir que todo array exportado tem o mesmo significado. Wrapper de corpo inteiro.

O wrapper de desenho normaliza coordenadas e suprime pontos de baixa confiança antes de desenhar corpo, mãos e rosto. Seu retorno final é uma imagem rasterizada da pose, não o array original completo de pontos-chave. O código calcula uma fatia dos pés, mas não a inclui no dicionário de pose enviado à função de desenho. Esse é um motivo concreto para não prometer que a prévia do ControlNet exibe todos os pontos brutos do corpo inteiro. Implementação do mapa de pose.

Antes de conectar seu próprio consumidor, registre o que ele espera: imagem ou coordenadas, pixels ou unidades normalizadas, ordem de pessoas e articulações e tratamento de valores ausentes. Confira um ponto reconhecível na imagem original. Um pulso esquerdo pode aparecer do lado correto na prévia e ainda estar rotulado incorretamente em uma exportação numérica personalizada.

Se precisar de coordenadas estruturadas, use uma interface que realmente as exponha e preserve as informações de confiança ou de pontos ausentes. Não tente recuperar coordenadas precisas lendo cores de uma captura de tela comprimida. Isso adicionaria outra conversão com perdas e dificultaria o diagnóstico.

Escolha um caminho de instalação e registre as dependências

O repositório distingue o ambiente de pesquisa com MMPose da integração com ControlNet. Sua branch ONNX permite usar essa integração sem instalar o MMPose completo e indica uma branch separada baseada em OpenCV. São caminhos distintos, não uma lista de pacotes que todos devem instalar juntos. Instruções de instalação.

No exemplo ONNX documentado, importam tanto o checkpoint de detecção de pessoas quanto o de pose. Salvar apenas o nome do arquivo do modelo de pose deixa parte do fluxo indefinida. Guarde no mesmo registro de execução o commit e a branch, os identificadores dos dois checkpoints, o provedor de execução, o pré-processamento e a versão do modelo seguinte. Exemplo ONNX oficial.

Leia a seleção de dispositivo no código que você realmente executa. O wrapper examinado escolhe CUDA no construtor; a existência de um ramo CPU em uma expressão não comprova que uma cópia sem alterações selecionará a CPU automaticamente na sua máquina. Um nó comunitário pode agir de outra forma. Esse é outro motivo para identificar o wrapper, em vez de tratar todas as integrações DWPose como intercambiáveis.

Use um ambiente isolado no teste e mantenha seu registro de dependências. Versões antigas fixadas em tutoriais podem ajudar a reproduzir uma configuração anterior, mas não estabelecem compatibilidade com seus drivers gráficos ou aplicativo atuais. Não instalamos esses ambientes aqui; este guia não certifica uma combinação específica de sistema operacional e GPU.

Verifique os direitos de todo o fluxo

O código do repositório DWPose usa a licença Apache 2.0. O README oficial também direciona os usuários ao repositório Hugging Face yzd-v/DWPose para os modelos. Na revisão imutável examinada aqui, esse repositório declara Apache 2.0 e contém o par ONNX exato citado no exemplo oficial: yolox_l.onnx para detecção de pessoas e dw-ll_ucoco_384.onnx para estimativa de pose. Licença do repositório. Licença da ficha em revisão fixa.

Essa evidência cobre o código oficial examinado e esses dois arquivos de checkpoint. Não é uma liberação geral para espelhos renomeados, checkpoints derivados, modelos ControlNet ou Stable Diffusion, wrappers, serviços hospedados, fotos de entrada ou resultados gerados. Preserve os avisos exigidos ao redistribuir o material coberto, confira os arquivos baixados contra a fonte examinada e verifique os termos próprios de todos os outros componentes.

No cenário de referência de personagem, registre quem forneceu a fotografia e se a transformação e a publicação pretendidas são permitidas. Uma representação de pose não elimina as obrigações ligadas à fonte. Não apresente pessoas geradas como clientes, funcionários ou apoiadores reais, nem suponha que usar apenas informações do esqueleto resolva automaticamente questões de privacidade ou direito de imagem.

Se uma implantação comercial substituir o checkpoint ou depender de outro componente com termos incertos, suspenda essa decisão até esclarecer as condições. A declaração Apache 2.0 do par oficial examinado não pode ser transferida para outro arquivo por ele ter nome semelhante ou aparecer perto de um botão de download. Este artigo não é orientação jurídica e não concede permissão para um fluxo montado com vários componentes.

Planeje um teste de pose cujas falhas ajudem a decidir

Use a referência segurando a caixa como um caso deliberadamente limitado. Marque a pessoa pretendida e as relações essenciais: qual mão sustenta a caixa, se os cotovelos cruzam a frente do tronco e para onde os ombros apontam. Guarde uma segunda imagem com uma pose simples como controle. São entradas hipotéticas de avaliação, não imagens que processamos.

Registre as dimensões da referência e cada corte ou redimensionamento. Preserve a entrada inteira junto de qualquer recorte da pessoa, pois um enquadramento mais fechado muda a informação disponível ao detector. Se o fluxo final tiver várias pessoas, inclua essa situação na amostra; uma figura isolada não valida seleção nem ordenação de pessoas.

Primeiro inspecione a detecção e o mapa de pose sem gerar uma imagem. Compare as articulações visíveis com a referência e marque partes ambíguas ou ocultas como incertas. Não avalie um palpite plausível como localização anatômica verificada quando a fonte não a revela. Salve o mapa que será realmente enviado ao próximo modelo, não outra prévia de depuração.

Só teste o gerador seguinte depois que essa etapa for aceitável. Mantenha prompt, seed, modelo, configurações de condicionamento e dimensões de saída fixos enquanto altera uma entrada relevante. Caso contrário, um resultado mais bonito pode vir de outro seed ou checkpoint, e não de uma estimativa melhor de pose.

Aplique uma planilha de aceitação em quatro etapas

Esta planilha é uma proposta original para o fluxo do ilustrador. Ela separa propositalmente a correção da pose do estilo visual. Preencha com suas observações e guarde os exemplos rejeitados.

Uma etapa pode passar e a seguinte falhar. Preserve essa informação em vez de comprimir tudo em uma nota de qualidade. Por exemplo, um pulso detectado corretamente seguido de uma mão desenhada incorretamente é uma falha diferente de um pulso ausente antes da geração. As correções e as evidências necessárias para verificá-las também são diferentes.

Defina um orçamento de edição antes do teste. Se alguém consegue corrigir poucas articulações rapidamente, um fluxo semimanual pode atender ao briefing. Se toda referência exigir reconstrução extensa, o mesmo sistema talvez não sirva para essa carga de trabalho. Registre o tempo de correção e as entradas rejeitadas, não apenas as gerações bem-sucedidas.

Investigue o erro na primeira etapa em que ele aparece

As hipóteses abaixo orientam o diagnóstico; não são taxas de falha medidas do DWPose. Use os materiais intermediários salvos para decidir qual explicação se aplica ao seu caso.

Para vídeo, não confunda inferência repetida de imagens estáticas com rastreamento validado. Defina se a aplicação exige identidade estável, trajetórias suaves ou apenas mapas independentes. Esses requisitos precisam de testes explícitos além de um único quadro; não realizamos testes de sequência nesta revisão.

Compare o custo total de correção, não uma taxa de quadros isolada

Cronometre separadamente preparação da imagem, detecção de pessoas, estimativa de pose, desenho ou exportação e geração posterior. Registre a inicialização à parte da inferência com o ambiente já aquecido. Anote também o hardware e o provedor de execução efetivamente utilizados. Uma taxa de quadros sem esses limites não informa ao artista técnico quanto tempo levará uma referência utilizável.

Regiões de entrada maiores, variantes diferentes e troca de detector podem alterar a carga. Em vez de presumir que o maior modelo é sempre o adequado, compare candidatos com as mesmas articulações essenciais e orçamento de correção. O benchmark do artigo mede uma tarefa de pesquisa definida; não certifica a latência do seu wrapper nem a qualidade das mãos do personagem gerado.

Se a autoria exata da pose importar mais do que a extração automática, uma pose editada manualmente ou um rig controlado pode ser o ponto de partida mais direto. Se a identidade ao longo do tempo for central, avalie um fluxo que trate explicitamente do rastreamento. Se a fonte for ambígua demais para estabelecer o gesto, obter uma referência mais clara pode ser melhor que alterar parâmetros repetidamente.

A próxima decisão é específica: a implementação DWPose escolhida fornece a representação necessária com trabalho de correção aceitável? Responda antes de declarar sucesso no fluxo completo de imagens. O diretório de modelos ajuda a explorar outras categorias, mas este artigo não apresenta ranking entre modelos nem promete uma substituição universal.