基于OCR进行Bert独立语义纠错实践

阅读原文时间：2023年07月14日阅读：1

摘要：本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错

本文分享自华为云社区《Bert特调OCR》，作者：杜甫盖房子。

做这个项目的初衷是发现图比较糊/检测框比较长的时候，OCR会有一些错误识别，所以想对识别结果进行纠错。一个很自然的想法是利用语义信息进行纠错，其实在OCR训练时加入语义信息也有不少工作，感兴趣的朋友可以了解一下，为了更大程度复用已有的项目，我们决定保留现有OCR单元，在之后加入独立语义纠错模块进行纠错。

本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错，最终效果如下：

我们使用ModelBox Windows SDK进行开发，如果还没有安装SDK，可以参考ModelBox端云协同AI开发套件（Windows）设备注册篇、ModelBox端云协同AI开发套件（Windows）SDK安装篇完成设备注册与SDK安装。

这个应用对应的ModelBox版本已经做成模板放在华为云OBS中，可以用sdk中的solution.bat工具下载，接下来我们给出该应用在ModelBox中的完整开发过程：

1）下载模板

执行.\solution.bat -l可看到当前公开的技能模板：

███@DESKTOP-UUVFMTP MINGW64 /d/DEMO/modelbox-win10-x64-1.5.1
$ ./solution.bat -l
start download desc.json
3942.12KB/S, percent=100.00%
Solutions name:
mask_det_yolo3
…
doc_ocr_db_crnn_bert

结果中的doc_ocr_db_crnn_bert即为文档识别应用模板，下载模板：

███@DESKTOP-UUVFMTP MINGW64 /d/DEMO/modelbox-win10-x64-1.5.1
$ ./solution.bat -s doc_ocr_db_crnn_bert
…

solution.bat工具的参数中，-l 代表list，即列出当前已有的模板名称；-s 代表solution-name，即下载对应名称的模板。下载下来的模板资源，将存放在ModelBox核心库的solution目录下。

2）创建工程

在ModelBox sdk目录下使用create.bat创建doc_ocr工程

███@DESKTOP-UUVFMTP MINGW64 /d/DEMO/modelbox-win10-x64-1.5.1
$ ./create.bat -t server -n doc_ocr -s doc_ocr_db_crnn_bert
sdk version is modelbox-win10-x64-1.5.1
success: create doc_ocr in D:\DEMO\modelbox-win10-x64-1.5.1\workspace

create.bat工具的参数中，-t 表示创建事务的类别，包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等；-n 代表name，即创建事务的名称；-s 代表solution-name，表示将使用后面参数值代表的模板创建工程，而不是创建空的工程。

workspace目录下将创建出doc_ocr工程，工程内容如下所示：

3）查看流程图

doc_ocr工程graph目录下存放流程图，默认的流程图doc_ocr.toml与工程同名，将流程图可视化：

图示中，灰色部分为预置功能单元，其余颜色为我们实现的功能单元，其中绿色为一般通用功能单元，红色为推理功能单元，蓝色为条件功能单元，黄色为展开归拢功能单元。HTTP接收图解码后做预处理，接着是文字检测，模型后处理得到检测框，经过条件功能判断，检测到文字的图送入展开功能单元，切图进行文字识别，文字识别结果送入bert预处理单元判断是否需要进行纠错，如需纠错则再展开并行进行语义推理，不需要纠错的就直接进行结果绘制并返回。而未检测到文字的帧则直接返回。

4）核心逻辑

本应用核心逻辑中的文字检测与识别可以参考【ModelBox OCR实战营】视频字幕识别中的相关介绍，本文重点介绍文字纠错部分。

首先查看纠错预处理功能单元bert_preprocess：

def process(self, data_context):
in_feat = data_context.input("in_feat")
out_feat = data_context.output("out_feat")
out_bert = data_context.output("out_bert")

for buffer\_feat in in\_feat:  
    ocr\_data = json.loads(buffer\_feat.as\_object())\['ocr\_result'\]  
    score\_data = json.loads(json.loads(buffer\_feat.as\_object())\['result\_score'\])

    text\_to\_process = \[\]  
    text\_to\_pass = \[\]  
    err\_positions = \[\]  
    for i, (sent, p) in enumerate(zip(ocr\_data, score\_data)):  
        if not do\_correct\_filter(sent, self.max\_seq\_length):  
            text\_to\_pass.append((i, sent))  
        else:  
            err\_pos = find\_err\_pos\_by\_prob(p, self.prob\_threshold)  
            if not err\_pos:  
                text\_to\_pass.append((i, sent))  
            else:  
                text\_to\_process.append(sent)  
                err\_positions.append(err\_pos)  
    if not text\_to\_process:  
        out\_feat.push\_back(buffer\_feat)  
    else:  
        out\_dict = \[\]  
        texts\_numfree = \[self.number.sub(lambda m: self.rep\[re.escape(m.group(0))\], s) for s in text\_to\_process\]  
        err\_positions = check\_error\_positions(texts\_numfree, err\_positions)  
        if err\_positions is None:  
            err\_positions = \[range(len(d)) for d in texts\_numfree\]  
        batch\_data = BatchData(texts\_numfree, err\_positions, self.tokenizer, self.max\_seq\_length)  
        input\_ids, input\_mask, segment\_ids, masked\_lm\_positions = batch\_data.data  
        ...  
return modelbox.Status.StatusCode.STATUS\_SUCCESS

预处理单元对通过do_correct_filter函数对OCR结果进行判断，只对大于3个字的中文字符进行纠错：

def do_correct_filter(text, max_seq_length):
if re.search(re.compile(r'[a-zA-ZＡ-Ｚａ-ｚ]'), text):
return False
if len(re.findall(re.compile(r'[\u4E00-\u9FA5]'), text)) < 3: return False if len(text) > max_seq_length - 2:
return False
return True

通过find_err_pos_by_prob函数定位需要纠错的字符，只对OCR置信度小于阈值的字符进行纠错：

def find_err_pos_by_prob(prob, prob_threshold):
if not prob:
return []
err_pos = [i for i, p in enumerate(prob) if p < prob_threshold]
return err_pos

如有需要纠错的字符，则将该句编码，进行语义推理。

语义推理后，通过collapse_position对推理结果进行解码，在match_position功能单元中使用shape_similarity函数计算语义推理结果与OCR结果的字符相似度：

def shape_similarity(self, char1, char2):
decomp1 = self.decompose_text(char1)
decomp2 = self.decompose_text(char2)
similarity = 0.0
ed = edit_distance(safe_encode_string(decomp1), safe_encode_string(decomp2))
normalized_ed = ed / max(len(decomp1), len(decomp2), 1)
similarity = max(similarity, 1 - normalized_ed)
return similarity

其中，decompose_text函数将单个汉字编码为笔划级别的IDS，如：

华: ⿱⿰⿰丿丨⿻乚丿⿻一丨

         华  
       +----+  
       | ⿱  |  
       +----+  
    化         十  
  +----+     +----+  
  | ⿰  |    | ⿻  |  
  +----+     +----+

亻七一丨
+----+ +----+
| ⿰ | | ⿻ |
+----+ +----+
丿丨乚丿

计算语义推理结果字符与原OCR结果字符相似度之后，综合语义推理置信度与相似度判断是否接收纠错结果：

def accept_correct(self, confidence, similarity):
if confidence + similarity >= self.all_conf \
and confidence >= self.confidence_conf \
and similarity >= self.similarity_conf:
return True
return False

5）三方依赖库

本应用依赖pyclipper、Shapely、pillow等工具包，ModelBox应用不需要手动安装三方依赖库，只需要配置在dependence\modelbox_requirements.txt，应用在编译时会自动安装。

在项目目录下执行.\bin\main.bat运行应用，为了方便观察纠错结果，我们将日志切换为info：

███@DESKTOP-UUVFMTP MINGW64 /d/DEMO/modelbox-win10-x64-1.5.1/workspace/doc_ocr
$ ./bin/main.bat default info
…
[2022-12-27 15:20:40,043][ INFO][httpserver_sync_receive.cc:188 ] Start server at http://0.0.0.0:8083/v1/ocr_bert

另起终端，进入项目data目录下，运行test_http.py脚本进行测试：

███@DESKTOP-UUVFMTP MINGW64 /d/DEMO/modelbox-win10-x64-1.5.1/workspace/doc_ocr/data
$ python test_http.py

可以在技能运行日志中观察到接受的纠错结果：

[2022-12-27 15:22:40,700][ INFO][match_position\match_position.py:51 ] confidence: 0.99831665, similarity: 0.6470588235294117, 柜 -> 相

同时，在data目录下可以看到应用返回的结果图片：

点击关注，第一时间了解华为云新鲜技术~

手机扫一扫

移动阅读更方便

你可能感兴趣的文章