关于Halcon中variation_model模型的快速解读。
阅读原文时间:2023年10月20日阅读:8

  十一期间在家用期间研读了下Halcon的variation_model模型,基本上全系复现了他的所有技术要求和细节,这里做个记录。

  其实这个模型的所有原理都不是很复杂的,而且Halcon中的帮助文档也讲的很是清楚,所以通过猜测、测试、编码基本能搞清楚是怎么回事。

  关于这个模型,Halcon里有如下十来个函数:

  create_variation_model、prepare_variation_model, train_variation_model、compare_variation_model、prepare_direct_variation_model、clear_variation_model, clear_train_data_variation_model, compare_ext_variation_model, get_thresh_images_variation_model, get_variation_model、 clear_train_data_variation_model, write_variation_model 。

  看起来涉及到了蛮多的东西的。

  那么一般的工作流程是:create_variation_model  ---> train_variation_model ---> prepare_variation_model  --->   compare_variation_model  ---> clear_variation_mode。

  即: 创建模型,然后训练模型,接着就是准备模型,这个时候就可以使用了,那么可以开始做输入比较了,比较完事了,清楚模型。

  所谓的variation_model的模型呢,其实是从一系列已经确认是OK的样图中,训练出2幅结果图,即上限图和下限图,也可以认为是训练出图像公差带,当要进行比较的时候,就看输入的图像的每个像素是否位于这个公差带之类,如果是,则这个点是合格的,不是,则这个像素点就是不合格的区域。

  那么在Halcon中,把这个工作就分解为了上面这一大堆函数。我们稍微来对每个函数做个解析。

  一、create_variation_model  创建模型。

  这个算子有如下几个参数:

      create_variation_model( : : Width, Height, Type, Mode : ModelID)

  这里主要是注意Type和Mode两个参数。  

  其中Type可以取'byte', 'int2', 'uint2' 这三种类型,我这里的解读是这个算子支持我们常用的8位灰度图像 和 16位的Raw图像, 16位因为有signed short和unsigned short,所有这里也有int2 和uint2两种类型。

  Mode参数有3个选择,: 'standard', 'robust', 'direct',这也是这个算子的灵魂所在,具体的做法后续再说,在创建时只是保存了他们的值,并没有做什么。

  那么创建的工作要做的一个事情就是分配内存,Halcon里的帮助文章是这样描述的:

  A variation model created with create_variation_model requires 12*Width*Height bytes of memory for Mode = 'standard' and Mode = 'robust' for Type = 'byte'. For Type = 'uint2' and Type = 'int2', 14*Width*Height are required. For Mode = 'direct' and after the training data has been cleared with clear_train_data_variation_model, 2*Width*Height bytes are required for Type = 'byte' and 4*Width*Height for the other image types.

  为什么是这样的内存,我们后续再说,接着看下一个函数。

二、train_variation_model 训练模型

  这个算子是这个功能的最有特色的地方,他用于计算出variation_model 模型中的 ideal image和 variation image,即理想图像和方差图像。

  当Mode选择 'standard', 'robust'时,此算子有效,当Mode为'direct'无效。

  Mode为 'standard'时,训练采用求多幅平均值的方式获取理想图像以及对应的方差图像,Mode为 'robust'时,采用,求多幅图像的中间值的方式获取理想图像以及对应的方差图像。

  注意,这里的求均值和方差是针对同一坐标位置,不同图像而言的,而不是针对单一图像领域而言,这个概念一定不能能错了,比如训练5副图像,他们某一行的对应位置数据分别为:

  当选择模式为 'standard',训练结果的 ideal image 值应该是(实际还需要四舍五入求整):    

  当选择模式为 'robust',训练结果的 ideal image 值应该是:

  当选择'standard'模式,我们可以在找到一副OK图像的时候,单独把这幅图像的数据训练到variation_model模型,而如果使用'robust'方式,则必须一次性把所有的OK图像添加到训练模型中,无法动态的添加对象,但是,由于'robust'模式采用的是中值的方式,因此,其抗噪音效果要好很多。

  为什么'standard'模式可以随时添加,而'robust'只能一次性添加,其实这个也很简单,前一次求平均值的信息如果临时保存了,那么在新的OK图需要添加时,可以直接利用前一次的有关信息进行沟通,而如果是采用求中值的方式,前面的排序信息一是难以保存(数据量大),二是即使保存了,对本次排序的作用也不大。

  这个时候我们停来下分析下前面Halcon文档里的提出的variation_model模型的内存占用大小,假如我们的Type是byte类型,使用'standard'模式,那么Ideal Image占用一份Width*Height字节内存,variation image必须是浮点类型的,占用 4 * Width*Height字节内存,另外,我们能随时添加新的OK的图像,应该还需要一个临时的int 类型的数据保存累加值(虽然Ideal Image保存了平均值,但是他是已经进行了取舍了, 精度不够),这需要额外的4 * Width*Height字节内存,后面我们提到variation_model还需要有2个width * height自己大小的内存用来保存上限和下限的图像数据,因此这里就有大概 1 + 4 + 4 + 2 = 11 * width * height的内存了,还差一个,呵呵,不知道干啥的了。

  选择'robust'模式时, ideal image好说,就是取中间值,但是对于variation image,并不是普通的方差图像,在halcon中时这样描述的:The corresponding variation image is computed as a suitably scaled median absolute deviation of the training images and the median image at the respective image positions,实际上,他这里是计算的绝对中位差,即计算下面这个数的中间值了。       

         MAD=median(∣X−median(X)∣)

  这个还需要举例说明吗????

  对于使用‘standard’模式的计算优化,也是有很多技巧的,不过这个应该很多人能掌握吧。但是如果是'robust'模式,直接写求中值的方法大家应该都会,但是因为这是个小规模大批量的排序和求中值的过程,其实是非常耗时的,比如W = 1000, H=1000,如果训练20副图像,那么就是1000*1000 = 100万个20个数字的排序,而且还涉及到到一个非常严重的cache miss问题。 即这20个数字的读取每次都是跨越很大的内存地址差异的。

  如何提高这个排序的过程,我觉得在这里指令集是有最大的优势的,他有两个好处,一是一次性处理多个字节,比如SSE处理16个字节,这样我也就可以一次性加载16个字节,整体而言就少了很多次cache miss,第二,如果我需要利用指令集,则我需要尽量的避免条件判断,因此,很多稍微显得高级一点的排序都不太合适,我需要找到那种固定循环次数的最为有效,比如冒泡排序,他就是固定的循环次数。

  对于N个图像的逐像素排序求中值,一个简单的C代码如下所示:

  

  纯C代码的话,这个的效率绝对不是最高的,有很多优秀的排序算法都可以比这个快很多。但是他是最简单,也是最简洁的,最适合进行SIMD优化的。 看到中间的X循环了吗,那就是他主要的计算量所在,这个循环用指令集优化是不是很简单。

  有人说这个循环就是个典型的判断分支语句啊,你刚刚说要避免分支,这明显不就是个矛盾吗,那么我如果把这个循环这样写呢:

        

  他们结果是不是一样,还有分支吗,好了,到这一步,后面的SIMD指令应该不需要我说怎么写了吧,_mm_min_epu8 + _mm_max_epu8。

  至于median absolute deviation的中值的计算,除了需要计算MAD值之外,其他有任何区别吗? MAD不恰好也可以用byte类型来记录吗,应该懂了吧。

三、prepare_variation_model 准备模型

    这个算子的有如下几个参数:

      prepare_variation_model( : : ModelID, AbsThreshold, VarThreshold : )

  这个算子实际上是根据前面的训练结果结合输入的 AbsThreshold和VarThreshold参数确定最终的上限和下限图像,即确认公差带。

  Halcon内部的计算公式为:

          

  i(x,y)是前面得到的Ideal Image, v(x,y)为variation image,  au/al/bu/bl即为算子的输入参数。这个没有啥好说的,具体可以看Halcon的帮助文档。

四、 compare_variation_model 比较模型

   算子原型为:    compare_variation_model(Image : Region : ModelID : )

  经过前面的一些列操作,我们的准备工作就完成了,现在可以用来进行检测了,检测的依据如下式:  

          

  即在公差带内的图像为合格部分,否则为不合格部分。

  五、其他算子

    clear_variation_model          --    删除模型数据,这个没啥好说的

    prepare_direct_variation_model    --    直接准备模型数据,这个在Mode设置为direct时有效,他无需经过训练,直接设置上下限数据,一般不使用

    clear_train_data_variation_model            --    清除训练数据,当我们训练完成后,那个Ideal Image 、variation image、临时数据等等都是没有用的了,都可以释放掉,只需要保留上下限的数据了。

  还有几个算子没有必要说了吧。

  总的来说,这是个比较简单的算子,实际应用中可能还需要结合模版匹配等等定位操作,然后在映射图像等,当然也有特殊场合可以直接使用的。

  我这里做了一个DEMO,有兴趣的朋友可以试用一下: https://files.cnblogs.com/files/Imageshop/Variation_Model.rar?t=1697790804&download=true

翻译

搜索

复制

手机扫一扫

移动阅读更方便

阿里云服务器
腾讯云服务器
七牛云服务器

你可能感兴趣的文章