DWPose

DWPose оценивает ключевые точки тела, кистей, лица и стоп человека на изображении. В процессе генерации изображений его задача состоит в передаче информации о позе другой системе; сам он не превращает текстовый запрос в готового персонажа. Оцените его, если нужен референс позы, который можно проверить и отладить, особенно когда правдоподобное итоговое изображение способно скрыть неверную кисть, пропавшего человека или перепутанный сустав.

Этот обзор исследовательского проекта и его официальной интеграции ONNX основан на источниках, проверенных 10 сентября 2026 года. Для статьи не проводились оценка позы на изображениях, измерение скорости или сравнение сгенерированных изображений. Пример ниже является предложенным испытанием, а не отчётом об успешном тесте.

Ревизии изученных источников: код 3dca5db7, карточка модели 1a714410.

Определите, за какую часть процесса отвечает DWPose

Статья DWPose описывает оценку позы всего тела и двухэтапную дистилляцию, используемую при обучении моделей. Эти этапы обучения нельзя путать с двумя шагами инференса, которые пользователь якобы должен выполнять для каждой фотографии. Проект выпускает модели нескольких размеров; одно название не задаёт универсальное число параметров или скорость. Исследовательская статья DWPose.

Для поиска ошибок разделите четыре результата: входное изображение, обнаруженных людей и ключевые точки, представление позы для следующей системы и итоговую сгенерированную картинку. Сохраняйте каждый из них при оценке. Если неверна карта позы, изменение текстового запроса вряд ли объяснит исходную ошибку. Если карта верна, но генератор её игнорирует, следующий этап проверки находится после оценки позы.

Это особенно полезно для референсов персонажей. Допустим, иллюстратору нужна фигура с небольшой коробкой перед корпусом. Руки перекрывают предмет, один локоть частично скрыт, а у края фотографии виден второй человек. Убедительный костюм или лицо в результате не доказывают перенос нужной позы. До оценки привлекательности картинки определите, какой человек и какие суставы важны.

DWPose не заменяет трёхмерный риг с измеренной геометрией, систему захвата движения или оценку безопасности для конкретной задачи. Не выводите эти возможности из изображения скелета. Предобработчик позы может быть полезен, не поддерживая все приложения, в описании которых встречается слово «поза».

Отделяйте исходные координаты от нарисованной карты

В официальном примере ONNX обёртка для всего тела сначала вызывает детектор людей, затем модель оценки позы. Она также вычисляет положение шеи и меняет индексы для представления в стиле OpenPose. Поэтому потребитель, ожидающий исходный порядок исследовательской модели, должен проверить фактический интерфейс, а не считать все экспортированные массивы равнозначными. Обёртка для всего тела.

Обёртка отрисовки нормализует координаты и подавляет точки с низкой уверенностью перед отображением тела, кистей и лица. Она возвращает растровое изображение позы, а не полный исходный массив точек. Код вычисляет срез для стоп, но не включает его в словарь позы, передаваемый функции отрисовки. Это конкретная причина не обещать, что превью ControlNet показывает все исходные точки всего тела. Реализация карты позы.

До подключения собственного потребителя запишите ожидаемый формат: изображение или координаты, пиксельные или нормализованные единицы, порядок людей и суставов, обработку пропусков. Проверьте узнаваемую точку по исходному изображению. Левое запястье может находиться на правильной стороне превью, но иметь неверную метку в вашем числовом экспорте.

Если нужны структурированные координаты, используйте интерфейс, который действительно их выдаёт, и сохраняйте уверенность или сведения о пропущенных точках. Не восстанавливайте точные координаты по цветам сжатого скриншота. Это добавит преобразование с потерями и усложнит поиск ошибок.

Выберите один способ установки и зафиксируйте зависимости

Репозиторий различает исследовательское окружение с MMPose и интеграцию ControlNet. Ветка ONNX позволяет использовать эту интеграцию без полной установки MMPose и ссылается на отдельную ветку на основе OpenCV. Это разные пути, а не список пакетов, которые всем нужно установить вместе. Инструкция по установке.

В документированном примере ONNX важны и веса детектора людей, и веса модели позы. Одно имя файла модели позы не описывает весь процесс. Храните вместе коммит и ветку репозитория, идентификаторы обоих наборов весов, провайдер выполнения, предобработку изображения и версию следующей модели. Официальный пример ONNX.

Проверьте выбор устройства в том коде, который запускаете. Изученная обёртка выбирает CUDA в конструкторе; наличие ветви CPU в выражении не доказывает, что неизменённый код автоматически выберет CPU на вашем компьютере. Сторонний узел может вести себя иначе. Поэтому нужно указывать конкретную обёртку, а не считать все интеграции DWPose взаимозаменяемыми.

Проводите испытание в изолированном окружении и сохраняйте сведения о зависимостях. Старые закреплённые версии из руководств могут помочь воспроизвести старую установку, но не доказывают совместимость с текущими драйверами или приложением. Мы не устанавливали эти окружения, поэтому обзор не подтверждает конкретное сочетание операционной системы и GPU.

Проверьте права на весь процесс

Код репозитория DWPose распространяется по Apache 2.0. Официальный README также направляет за моделями в репозиторий Hugging Face yzd-v/DWPose. В проверенной неизменяемой ревизии он указывает Apache 2.0 и содержит точную пару ONNX из официального примера: yolox_l.onnx для обнаружения людей и dw-ll_ucoco_384.onnx для оценки позы. Лицензия репозитория. Лицензия карточки модели в фиксированной ревизии.

Эти сведения относятся к проверенному официальному коду и двум указанным файлам весов. Они не дают общего разрешения на переименованное зеркало, производные веса, модель ControlNet или Stable Diffusion, обёртку, облачный сервис, исходное фото или сгенерированный результат. При распространении сохраняйте обязательные уведомления, сверяйте загруженные материалы с проверенным источником и изучайте отдельные условия остальных компонентов.

Для референса персонажа запишите, кто предоставил фотографию и разрешены ли нужные преобразование и публикация. Представление позы не отменяет обязательств, связанных с источником. Не выдавайте сгенерированных людей за реальных клиентов, сотрудников или тех, кто рекомендует продукт. Использование только скелетных данных не решает автоматически вопросы приватности или прав на изображение человека.

Если коммерческое внедрение заменяет веса или зависит от компонента с неясными условиями, отложите решение о таком внедрении до их выяснения. Заявление Apache 2.0 для проверенной официальной пары нельзя переносить на другой файл из-за похожего имени или соседства с кнопкой скачивания. Статья не является юридической консультацией и не разрешает использование собранного процесса.

Спланируйте испытание, в котором ошибка будет полезна

Используйте референс с коробкой как намеренно ограниченный пример. Отметьте нужного человека и главные отношения: какая рука поддерживает коробку, проходят ли локти перед корпусом и куда направлены плечи. Сохраните второе изображение с простой позой как контрольное. Это предполагаемые входные данные для оценки, а не обработанные нами изображения.

Запишите размеры референса и каждую обрезку или изменение размера. Сохраняйте полный вход рядом с фрагментом человека: более плотная обрезка меняет сведения, доступные детектору. Если итоговый процесс работает с несколькими людьми, включите такой случай в выборку. Одна отдельная фигура не проверяет выбор и порядок людей.

Сначала изучите обнаружение и карту позы без генерации изображения. Сопоставьте видимые суставы с референсом, а неоднозначные и перекрытые места отметьте как неопределённые. Не считайте правдоподобную догадку подтверждённым анатомическим положением, если источник его не показывает. Сохраняйте именно карту для следующей модели, а не другое отладочное превью.

Только после приёмки этого этапа проверяйте генератор. При изменении одного значимого входа фиксируйте запрос, seed, модель, настройки управления позой и размеры результата. Иначе более красивая картинка может объясняться другим seed или весами, а не лучшей оценкой позы.

Примените четырёхэтапный лист приёмки

Этот лист предложен для работы иллюстратора. Он намеренно отделяет правильность позы от визуального стиля. Заполняйте его собственными наблюдениями и сохраняйте отклонённые примеры.

Один этап может пройти проверку, а следующий провалиться. Сохраняйте это различие вместо общего балла качества. Например, верно найденное запястье и неверно нарисованная позже кисть отличаются от отсутствия запястья до начала генерации. Исправления и необходимые для их проверки доказательства будут разными.

До испытания задайте бюджет правки. Если человек быстро исправляет несколько суставов, полуавтоматический процесс может соответствовать заданию. Если каждому референсу нужна обширная реконструкция, та же система может не подойти для такого объёма работы. Записывайте время исправлений и отклонённые входы, а не только удачные генерации.

Ищите ошибку на самом раннем видимом этапе

Ниже приведены диагностические гипотезы, а не измеренные частоты ошибок DWPose. По сохранённым промежуточным результатам определите, какое объяснение подходит вашему случаю.

Для видео повторный инференс отдельных изображений не равен проверенному трекингу. Определите, нужны ли стабильная идентичность человека, плавные траектории или только независимые карты позы. Эти требования требуют отдельных испытаний последовательностей; здесь они не проводились.

Сравнивайте полную стоимость правки, а не заявленную частоту кадров

Измеряйте этапы отдельно: подготовку изображения, обнаружение людей, оценку позы, отрисовку или экспорт и последующую генерацию. Отделяйте инициализацию от прогретого инференса. Записывайте фактически использованные оборудование и провайдер выполнения. Частота кадров без этих границ не сообщает техническому художнику время до пригодного референса.

Размер области входа, вариант модели и смена детектора влияют на нагрузку. Вместо предположения, что самая большая модель всегда лучше подходит, сравнивайте кандидатов по одинаковым важным суставам и бюджету исправлений. Бенчмарк статьи измеряет определённую исследовательскую задачу, а не подтверждает задержку вашей обёртки или качество рук сгенерированного персонажа.

Если точное авторское управление позой важнее автоматического извлечения, ручная правка позы или управляемый риг могут дать более прямой путь к результату. Если важна идентичность между кадрами, оцените процесс с явной поддержкой трекинга. Если исходник слишком неоднозначен для определения жеста, более ясный референс может быть полезнее повторных изменений параметров.

Следующий вопрос узок: выдаёт ли выбранная реализация DWPose нужное представление позы с приемлемой доработкой? Ответьте на него до заявления об успехе всей цепочки изображений. Каталог моделей поможет изучить другие категории, но здесь нет межмодельного рейтинга или утверждения об универсальной замене.