A Importância da Separação: SAGE Supera as Linhas de Base Unificadas de VQ-VAE em Movimento de Corpo Inteiro

Tabela de Links

Abstrato e 1. Introdução

1. Trabalhos Relacionados

   2.1. Reconstrução de Movimento a partir de Entrada Esparsa

   2.2. Geração de Movimento Humano

2. SAGE: Geração de Avatar Estratificada e 3.1. Declaração do Problema e Notação

   3.2. Representação de Movimento Desvinculada

   3.3. Difusão de Movimento Estratificada

   3.4. Detalhes de Implementação

3. Experiências e Métricas de Avaliação

   4.1. Conjunto de Dados e Métricas de Avaliação

   4.2. Resultados Quantitativos e Qualitativos

   4.3. Estudo de Ablação

4. Conclusão e Referências

\ Material Suplementar

A. Estudos de Ablação Extras

B. Detalhes de Implementação

4.3. Estudo de Ablação

Realizamos um estudo de ablação sob S1 para justificar a escolha de design de cada componente em nossa SAGE Net.

\

\

\

\ Codebook Desvinculado: Estabelecemos uma linha de base usando uma representação de movimento unificada para avaliar a estratégia de desvinculação. Especificamente, desenvolvemos um modelo VQ-VAE de corpo inteiro que codifica o movimento de corpo inteiro em um único codebook discreto unificado. Outros componentes são os mesmos do modelo original. Os resultados mostrados na primeira e na última linha da Tabela 5 demonstram que nossa abordagem empregando latentes desvinculados supera significativamente a linha de base em todas as métricas de avaliação. Isso demonstra que a desvinculação pode simplificar o processo de aprendizagem, permitindo que o modelo se concentre em um conjunto mais limitado de movimentos e interações. Além disso, a Fig. 5 mostra a comparação de visualização entre nosso modelo e o modelo de linha de base, verificando que a desvinculação pode melhorar significativamente os resultados de reconstrução para os movimentos inferiores mais desafiadores.

\

\ Estratégia de Desvinculação: Para investigar a estratégia de desvinculação ideal, exploramos uma configuração de desvinculação extrema seguindo o caminho da raiz

\

\ (Pelvis) para cada nó folha ao longo da árvore cinemática. Especificamente, dividimos o corpo em cinco segmentos: os caminhos da raiz para a mão esquerda (a), mão direita (b), cabeça (c), pé esquerdo (d) e pé direito (e). Conforme relatado nas duas últimas linhas da Tab. 5, as interconexões naturais das articulações dentro do corpo superior (ou inferior) foram interrompidas quando desvinculamos ainda mais o corpo humano, resultando em quedas de desempenho e complicando o design do modelo.

\

\ Limitação: Na Fig. 6, tanto o método anterior de última geração quanto o nosso modelo encontram dificuldades em duas situações principais: (1) Movimentos Induzidos por Força Externa (a linha superior). (2) Poses Não Convencionais (a linha inferior). A adição de amostras mais variadas ao conjunto de dados de treinamento pode potencialmente melhorar o desempenho do modelo nessas áreas.

\

:::info Autores:

(1) Han Feng, contribuições iguais, ordenados por alfabeto da Universidade de Wuhan;

(2) Wenchao Ma, contribuições iguais, ordenados por alfabeto da Universidade Estadual da Pensilvânia;

(3) Quankai Gao, Universidade do Sul da Califórnia;

(4) Xianwei Zheng, Universidade de Wuhan;

(5) Nan Xue, Grupo Ant (xuenan@ieee.org);

(6) Huijuan Xu, Universidade Estadual da Pensilvânia.

:::

:::info Este artigo está disponível no arxiv sob licença CC BY 4.0 DEED.

:::

\