GitHub： https://github.com/jkszw2014/bert-kbqa-NLPCC2017

一、问题描述

本篇知识问答实战来源NLPCC2017的Task5：Open Domain Question Answering；其包含 14,609 个问答对的训练集和包含 9870 个问答对的测试集。并提供一个知识库，包含 6,502,738 个实体、 587,875 个属性以及 43,063,796 个三元组。

• 知识库（nlpcc-iccpol-2016.kbqa.kb）

• 训练集（nlpcc-iccpol-2016.kbqa.traing-data）

• 测试集（nlpcc-iccpol-2016.kbqa.testing-data，提交结果进行评测）

二、解决方案

基于知识库的自动问答拆分为2 个主要步骤: 命名实体识别步骤和属性映射步骤。其中，实体识别步骤的目的是找到问句中询问的实体名称，而属性映射步骤的目的在于找到问句中询问的相关属性。

• 命名实体识别步骤，采用BERT+BiLSTM+CRF方法（另外加上一些规则映射，可以提高覆盖度）
• 属性映射步骤，转换成文本相似度问题，采用BERT作二分类（对于歧义答案，需要有问答上下文）

思路参考文章：

InsunKBQA: 一个基于知识库的问答系统

基于知识图谱的问答系统入门—NLPCC2016KBQA数据集

三、BERT命名实体识别效果：（https://github.com/jkszw2014/bert-kbqa-NLPCC2017/tree/master/NER_BERT-BiLSTM-CRF）

• 构造NER的数据集，需要根据三元组-Enitity 反向标注问题，给 Question 打标签。

代码： python ./NLPCC2016KBQA/construct_dataset.py

训练集：

《机械设计基础》这本书的作者是谁？     机械设计基础



标注后：
《 O
机 B-LOC
械 I-LOC
设 I-LOC
计 I-LOC
基 I-LOC
础 I-LOC
》 O
这 O
本 O
书 O
的 O
作 O
者 O
是 O
谁 O
？ O

• 训练代码：

  python bert_lstm_ner.py <br /> --task_name="NER" <br /> --do_train=True <br /> --do_eval=True <br /> --do_predict=True <br /> --data_dir=NERdata \
  --max_seq_length=128 <br /> --train_batch_size=32 <br /> --learning_rate=2e-5 <br /> --num_train_epochs=3.0 <br /> --output_dir=./output/result_dir_ner/

• 预测代码：

python terminal_predict.py

结果：识别实体还是可以，统计过准确率，还不错。(结果文件： ./NERdata/q_t_a_testing_predict.txt)

四、BERT属性映射效果评估(https://github.com/jkszw2014/bert-kbqa-NLPCC2017/tree/master/AttributeMap-BERT-Classification)

• 构造BERT二分类问题的数据集：

1. 构造测试集的整体属性集合，提取+去重，获得 4373 个属性 RelationList；

2. 一个 sample 由“问题+属性+Label”构成，原始数据中的属性值置为 1；

3. 从 RelationList 中随机抽取五个属性作为 Negative Samples。

构造数据集代码：

python ./NLPCC2016KBQA/construct_dataset_attribute.py


生成的文件，移动到data_kbqa目录下: val.txt test.txt train.txt

• 训练代码：

  export BERT_BASE_DIR=/home/bert/chinese_L-12_H-768_A-12

  export MY_DATASET=/home/bert/data_sim

  python run_classifier.py <br /> --data_dir=$MY_DATASET <br /> --task_name=similarity <br /> --vocab_file=$BERT_BASE_DIR/vocab.txt <br /> --bert_config_file=$BERT_BASE_DIR/bert_config.json <br /> --output_dir=./data_sim/output/ <br /> --do_train=true <br /> --do_eval=true <br /> --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt <br /> --max_seq_length=128 <br /> --train_batch_size=32 <br /> --learning_rate=5e-5<br /> --num_train_epochs=2.0

  INFO:tensorflow: Eval results
  INFO:tensorflow: eval_accuracy = 0.98575
  INFO:tensorflow: eval_loss = 0.06471516
  INFO:tensorflow: global_step = 4727
  INFO:tensorflow: loss = 0.06471516

• 测试结果：

  export BERT_BASE_DIR=/home/bert/chinese_L-12_H-768_A-12
  export MY_DATASET=/home/bert/data_kbqa

  python run_classifier.py <br /> --task_name=similarity <br /> --do_predict=true <br /> --data_dir=$MY_DATASET <br /> --vocab_file=$BERT_BASE_DIR/vocab.txt <br /> --bert_config_file=$BERT_BASE_DIR/bert_config.json <br /> --init_checkpoint=./data_kbqa/output <br /> --max_seq_length=128 <br /> --output_dir=./data_kbqa/output/

  ----预测准确率： 0.986
  import pandas as pd
  test_df = pd.read_csv('test.csv',header=None,sep = '\t')
  test_label = test_df[3].tolist()

  test_predict_df = pd.read_csv('./output/test_results.tsv',header=None,sep = '\t')

  test_predict_df['label'] = test_predict_df.apply(lambda x: 0 if x[0] > x[1] else 1, axis=1)
  test_predict_label = test_predict_df['label'].tolist()

  result = [1 if x==y else 0 for x,y in zip(test_label,test_predict_label)]

  sum(result)/len(result)
  0.9863194162950952

【参考文献】

【1】基于该数据集实现的论文  http://www.doc88.com/p-9095635489643.html

【2】 NLPCC比赛数据集下载页面

          http://tcci.ccf.org.cn/conference/2017/taskdata.php   

          http://tcci.ccf.org.cn/conference/2016/pages/page05_evadata.html 

【3】InsunKBQA_一个基于知识库的问答系统_周博通_孙承杰_林磊_刘秉权  http://www.doc88.com/p-9095635489643.html

【4】 基于知识库的问答：seq2seq模型实践  https://zhuanlan.zhihu.com/p/34585912

【5】基于BERT预训练的中文命名实体识别TensorFlow实现   https://blog.csdn.net/macanv/article/details/85684284