自然语言处理 Paddle NLP - 开放域对话系统-理论
阅读原文时间:2023年08月11日阅读:2

常见的对话系统

  • 个人助手

    •Apple Siri, Amazon Alexa, Baidu Xiaodu

  • 客户服务•餐厅预定、商品咨询、债务催收

  • 休闲娱乐

    •Microsoft XiaoIce,Replika

放域对话系统

  • 检索式系统

  • 生成式系统

检索式系统

生成模型

  • Sequence-to-sequence
  • Generative Pre-training Models

Sequence-to-sequence

Generative Pre-training Models

  • BERT 使用了双向注意力机制,每个token可以向左向右看到各个token
  • GPT 使用了单向注意力机制(从左到右),是一个生成模型,每个 token只能看到自己和前他面的词,只能看到以前的,所以比较适合用来做生成任务,像平常说话也是一个词一个词的,Q:你有没有养宠物,A:我有一只猫,
  • PrefixLM (Unified Transformer)使用了编码端双向、生成端单向的注意力机制,适合开放域的对话任务

解码策略

  • Greedy Decoding

  • Sampling-based Decoding

  • 每一步,选取最可能的单词(i.e. argmax)

  • 把选取的单词补充到input中,继续下一步解码

  • 停止条件: 继续解码直到产生[EOS] 或者达到了事先定义的最大生成长度

Sampling-based Decoding

解码策略–总结

  • Greedy decoding 方法很简单,但效果一般较差

  • Sampling-baseddecoding可以得到更多样化/随机的回复

    •比较适合于开放式/创造性的生成任务,像对话、诗词、故事生成

    •Top-k/p sampling 可以通过调节k/p,对生成的多样性进行控制

对话评估

  • 自动评估: BLEU、Distinct
  • 人工评估

BLEU

Distinct

人工评估

开放域对话模型演进历史

PLATO-2

总结及展望

视频:https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1493709&sharedType=2&sharedUserId=2631487&ts=1687157269113

课件:https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1567921&sharedType=2&sharedUserId=2631487&ts=1687157254946