Важность разделения: SAGE превосходит унифицированные базовые модели VQ-VAE в моделировании движений всего тела

Таблица ссылок

Резюме и 1. Введение

1. Связанные работы

   2.1. Реконструкция движения из разреженных входных данных

   2.2. Генерация движений человека

2. SAGE: Стратифицированная генерация аватаров и 3.1. Постановка задачи и обозначения

   3.2. Разделенное представление движения

   3.3. Стратифицированная диффузия движения

   3.4. Детали реализации

3. Эксперименты и метрики оценки

   4.1. Набор данных и метрики оценки

   4.2. Количественные и качественные результаты

   4.3. Абляционное исследование

4. Заключение и ссылки

\ Дополнительные материалы

A. Дополнительные абляционные исследования

B. Детали реализации

4.3. Абляционное исследование

Мы проводим абляционное исследование в условиях S1, чтобы обосновать выбор дизайна каждого компонента в нашей сети SAGE.

\

\

\

\ Разделенная кодовая книга: Мы устанавливаем базовый уровень, используя унифицированное представление движения для оценки стратегии разделения. В частности, мы разработали полнотелую модель VQ-VAE, которая кодирует движение всего тела в единую, унифицированную дискретную кодовую книгу. Другие компоненты такие же, как в оригинальной модели. Результаты, показанные в первой и последней строках Таблицы 5, демонстрируют, что наш подход с использованием разделенных латентных представлений значительно превосходит базовый уровень по всем метрикам оценки. Это показывает, что разделение может упростить процесс обучения, позволяя модели сосредоточиться на более ограниченном наборе движений и взаимодействий. Кроме того, Рис. 5 показывает визуальное сравнение между нашей моделью и базовой моделью, подтверждая, что разделение может значительно улучшить результаты реконструкции для наиболее сложных нижних движений.

\

\ Стратегия разделения: Для исследования оптимальной стратегии разделения мы изучаем экстремальную конфигурацию разделения, следуя пути от корневого

\

\ (тазового) узла к каждому листовому узлу вдоль кинематического дерева. В частности, мы разбиваем тело на пять сегментов: пути от корня к левой руке (a), правой руке (b), голове (c), левой ноге (d) и правой ноге (e). Как сообщается в последних двух строках Таб. 5, естественные взаимосвязи суставов в верхней (или нижней) части тела были нарушены при дальнейшем разделении человеческого тела, что привело к снижению производительности и усложнению дизайна модели.

\

\ Ограничение: На Рис. 6 как предыдущий современный метод, так и наша модель сталкиваются с трудностями в двух основных ситуациях: (1) Движения, вызванные внешней силой (верхний ряд). (2) Нестандартные позы (нижний ряд). Добавление более разнообразных образцов в обучающий набор данных потенциально может улучшить производительность модели в этих областях.

\

:::info Авторы:

(1) Хань Фэн, равный вклад, упорядочены по алфавиту из Уханьского университета;

(2) Вэньчао Ма, равный вклад, упорядочены по алфавиту из Пенсильванского государственного университета;

(3) Цюанькай Гао, Университет Южной Калифорнии;

(4) Сяньвэй Чжэн, Уханьский университет;

(5) Нань Сюэ, Ant Group (xuenan@ieee.org);

(6) Хуэйцзюань Сюй, Пенсильванский государственный университет.

:::

:::info Эта статья доступна на arxiv по лицензии CC BY 4.0 DEED.

:::

\