人体动作捕捉格式之BVH
阅读原文时间:2023年07月11日阅读:1

BVH是BioVision公司推出的一种人体动作捕捉文件格式。这种文件以节点为核心元素,记录连续数帧内人体骨架的运动。

BVH=?

研究一个东西的时候我比较喜欢先研究它的名字。BVH可以认为是BioVision Hierarchy的缩写,因为这类文件对节点的组织是按照树形结构来的,也就是层次化(hierarchical)的。关于这个名字还有另一种可能的解释:如果你去查询Blender的文档,对BVH的介绍则将其等同于BioVision Motion Capture. 我倾向于前者,因为hierarchy这个词其实揭示了BVH的本质。

把这类文件叫做BVH有一个最单纯最直接的原因,那就是.bvh是所有这类文件的统一后缀|·ω·)

文件分为两大部分,层级结构运动信息。下面是BVH的一个示例:

HIERARCHY
ROOT Hips
{
    OFFSET  0.00    0.00    0.00
    CHANNELS 6 Xposition Yposition Zposition Zrotation Xrotation Yrotation
    JOINT Chest
    {
        OFFSET   0.00    5.21    0.00
        CHANNELS 3 Zrotation Xrotation Yrotation
        JOINT Neck
        {
            OFFSET   0.00    18.65   0.00
            CHANNELS 3 Zrotation Xrotation Yrotation
            JOINT Head
            {
                OFFSET   0.00    5.45    0.00
                CHANNELS 3 Zrotation Xrotation Yrotation
                End Site
                {
                    OFFSET   0.00    3.87    0.00
                }
            }
        }
        JOINT LeftCollar
        {
            ...
        }
    ...
}

MOTION
Frames:    2
Frame Time: 0.033333
 8.03    35.01   88.36  -3.41    14.78  -164.35  13.09   40.30  -24.60   7.88    43.80   0.00   -3.61   -41.45   5.82    10.08   0.00    10.21   97.95  -23.53  -2.14   -101.86 -80.77  -98.91   0.69    0.03    0.00   -14.04   0.00   -10.50  -85.52  -13.72  -102.93  61.91  -61.18   65.18  -1.57    0.69    0.02    15.00   22.78  -5.92    14.93   49.99   6.60    0.00   -1.14    0.00   -16.58  -10.51  -3.11    15.38   52.66  -21.80   0.00   -23.95   0.00
 7.81    35.10   86.47  -3.78    12.94  -166.97  12.64   42.57  -22.34   7.67    43.61   0.00   -4.23   -41.41   4.89    19.10   0.00    4.16    93.12  -9.69   -9.43    132.67 -81.86   136.80  0.70    0.37    0.00   -8.62    0.00   -21.82  -87.31  -27.57  -100.09  56.17  -61.56   58.72  -1.63    0.95    0.03    13.16   15.44  -3.56    7.97    59.29   4.97    0.00    1.64    0.00   -17.18  -10.02  -3.08    13.56   53.38  -18.07   0.00   -25.93   0.00

该文件是删减过的,为了显示清楚格式。>点我< 看源文件。

层级结构

首先HIERARCHY标记了层级结构部分的开始。

可以跟着编译器的思路来理解这一部分:

  • 现在开始读这个文件啦,首先读到的是ROOT,这表示第一个节点是根节点。第一个节点总是根节点;
  • 往下读,读到了Hips这个词,结合上一条的信息,我们就知道了,根节点的名字是'Hips'。对于人体骨架来说,根节点一般都取在Hips也就是臀部。
  • 接着,出现了{,左括号开始了,必然有右括号}与之闭合,而括号之间的部分,既有节点,也有信息。我们可以理解为括号括起来的部分从属于刚刚读到的节点,这里是根节点Hips
  • 下面读到一个关键字OFFSET。接下来会有三个数字,这里是0.00 0.00 0.00这表示该节点相对于父节点的偏移,也可以理解为从父节点到该节点连线所表征的向量。根节点没有父节点,所以这里是0.
  • 再读,读到CHANNELS这个关键词,那么这一行剩下的部分就是几个表示自由度的关键字,Xrotation Yrotation Zrotation表示了三个旋转自由度,Xposition Yposition Zposition 表示三个平移自由度。这一行表示刚才的根节点的自由度信息。
    • 一般来说,根节点有全部的6个自由度,而其余节点只有3个旋转自由度。
    • 这些自由度的具体含义会放在后一节说明。
  • 接着往下,读到了JOINT 这个关键字,这意味着这一行表示的是一个节点,后面的一个词Chest则是这个节点的名字。这个节点和根节点唯一的区别就是标记是JOINT而不是ROOT
  • 下面又出现了{,同样的,括号内的信息和子节点都从属于该节点。
  • 直到End Site出现前的部分都不需要赘述。End Site是一个无名节点,表示树形结构到这里就是叶节点啦,后面再也没有子节点了。End Site没有子节点,所有也就没有自由度信息,只有相对父节点的偏移信息。
  • 接下来读到了本文件第一个},表示一个节点的所有范围终结。
  • 下面再出现JOINT标记的节点时,我们回去找它在谁的括号内,它就是谁的子节点,以此类推,直到MOTION结束,因为这是下一部分开始的标志。

运动信息

紧承前节,看到了MOTION这个关键字,就代表着运动信息的部分开始了。

这一部分的结构要简单的多,就不像上一节那样介绍了:

  • 第二行Frames: 2表示帧数,这里是2帧;

    • 这里的帧数必须与后面的帧数据行数相等,因为这个数字决定了要读取多少行,如果少了会造成数据浪费,多了就会出bug
  • 第三行Frame Time: 0.033333 表示每一帧的持续时间,这里是\(\frac{1}{30}\text{s}\),也就是这个文件是30FPS

  • 后面有n行运动数据,每行为一帧。这些信息按照HIERARCHY部分的自由度出现的顺序一一对应。其中角度的单位是度(°)

这一部分主要解决的问题是:如何通过BVH复现运动情况。这种旋转还是很抽象,要转化就要转化成人最方便理解的形式,那就是三维坐标。

自由度理解

首先要明确的是,这些参数的含义究竟是什么。

如果在根节点ROOT建立全局坐标系,把OFFSET都作为相对这个全局坐标系的向量,那么仅凭HIERARCHY的信息是可以画出一个基本的骨架的。把这个骨架图起个名字叫\(G_0\),后面还要再提到它。这种生成\(G_0\)的方法理论上没有问题,但是不能这么理解。BVH中每个节点都有自己的局部坐标系,所有的变换都是在局部坐标系完成的。只不过在\(G_0\)中,这些坐标系全部平行,局部坐标就等于全局坐标。

注意,虽然这里我们画出了\(G_0\),但这并不是初始的那一帧,只是一个基本的参考。运动信息部分中的每一帧都可以由这一帧的信息和\(G_0\)唯一地生成,没有记忆性,也就是说每一帧都是独立的。

BVH的每个节点都有3个或6个自由度,这些自由度都是相对于初始坐标系(暨全局坐标系)而言的。平移自由度很好理解,就是沿着三个轴的偏移量;而旋转自由度则需要牵扯到3个点:当前节点O、子节点C、父节点P。如下图

这里要第一次强调hierarchy的含义了:每个节点的旋转,在自己的坐标系旋转的同时,带动所有子节点和相关骨骼的旋转。可以理解为按照层级从根到叶先后执行旋转,一个节点的局部坐标在旋转之前,始终和其父节点的局部坐标保持平行。

按照这样一个过程,我们来理解一下旋转自由度的含义。在节点\(O\)旋转前,其局部坐标系\(Oxyz\)是和\(Pxyz\)完全平行的。三个自由度的含义是先后绕局部的\(Oz\), \(Ox\), \(Oy\)旋转的角度(这里以ZXY顺序为例)。注意,这里的单位是度(°).

旋转的结果不会体现在节点\(O\)上,而是体现在\(C\)及其后续节点的位移,即向量\(\vec{OC}\)的旋转。

递归计算

这一部分主要讨论如何利用BVH中给出的信息,计算出每一帧所有节点的三维坐标序列。其核心是坐标变换的递归。

这里要再一次强调hierarchy这个词。递归计算的核心就是对层级结构的利用。

我们知道,如果一个坐标系\(p\)旋转之后得到了坐标系\(q\),这一旋转过程的旋转矩阵可以表示为\(R_{pq}\),而在这个空间内有一定点\(A\),它在两个坐标系下的坐标分别是\(A_p\)和\(A_q\),那么有如下关系成立:

\[A_p = R_{pq}A_q
\]

这就是坐标变换公式

这里就有问题了。BVH中的旋转是向量在旋转,这个公式中\(A\)点根本就是一个定点,怎么能用来计算呢?

其实在前一节,我们赋予了每个点一个单独的局部坐标系,并规定这个坐标系内,直接后继的坐标是不变的。这就是为了将坐标变换和向量旋转等同。可以分几步来理解这个计算过程(以父节点的坐标系为基准):

  1. 转之前的橙色坐标系(\(\vec{OC}\)所在的坐标系)记为\(p\), 转之后的红色坐标系(\(\vec{OC^\prime}\))记为\(q\)。

  2. 旋转前,所有坐标系都与全局坐标系等同,这就使得\(\vec{OC^\prime_p}\)实质上是\(\vec{OC^\prime}\)在全局坐标系下的坐标,也就是我们直接可以从坐标序列得出的\(V_g\)。旋转后的坐标系下,同一个向量\(\vec{OC^\prime}\)在\(q\)下的坐标实质上是基准帧内该向量的坐标,即\(V\)。

  3. 于是有了

    \[\boldsymbol{V}_g=R\boldsymbol{V}
    \]

我们再来理解递归的过程:在基准帧,当前节点以其父节点为基准执行旋转,得到向量\(R_n\boldsymbol{V}\),这一向量的坐标是相对其父节点而言的;那么以父节点作为待处理的节点,继续执行这个过程,有了\(R_{n-1}R_n\boldsymbol{V}\),以此类推。于是,某一节点的局部坐标到全局坐标的转化矩阵就可以写为

\[R=R_0R_1R_2\cdots R_n
\]

为了不让这个式子看起来太复杂,我没在公式里显式指明旋转矩阵所在节点的从属关系。但是他们之间的关系应为:\(R_{i+1}\)是\(R_i\)的子节点。

有了这个关系,\(R_n\)就可以递归求解。即,当我们知道\(R_n\)节点所有祖先节点的旋转矩阵,他们按照上面的顺序乘在一起得到的结果是\(R_m\), 则成立以下式子:

\[\boldsymbol{V}_g=R_mR_n\boldsymbol{V}
\]

式中只有\(R_n\)是未知的。

最近在学习人体的动作捕捉,BVH的旋转还是挺绕的,但是这种层级结构确实是一种解决人体运动描述的很有用的思想,还是值得深入解读的。

当然,文章内容是基于我个人理解,如有错误,万望指正:)

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章