源码请到:自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com)
1.1 马尔科夫模型:具有马尔可夫性质并以随机过程为基础的模型
1.2 马尔科夫性质:过去状态只能影响现在状态,影响不了将来的状态
1.3 马尔科夫过程:随机过程满足马尔科夫性质,状态转移矩阵不会随着时间的变化而发生变化
1.4 马尔科夫模型举例
如图所示,天气有晴天、多云、雷雨三种状态,三种状态之间的变换是随机的,并且三种之间的状态概率是固定的,并且昨天的天气只能影响今天的天气,对明天的天气无法产生影响,就是一个马尔科夫模型。
2.1 在马尔科夫模型中,无法直观的观察到状态,仅仅可以观测到表象,则称之为隐马尔科夫模型。
2.2 举例:在第一节的例子中,如果是在热带雨林中,看不见天所以无法直接观测到天气的情况,但是可以通过观察海藻的生长状态来判断当前的天气,这就是个隐马尔科夫模型
2.3 隐马尔科夫模型的表示
隐马尔科夫模型可以表示为:
其中π为初始状态,A为状态转移概率矩阵,B为生成观测状态概率矩阵
2.4 隐马尔科夫模型要解决的问题
2.4.1 给定模型λ=(A,B,π)及观测序列O={o1,o2……oT} 计算其出现的概率P(O|λ)
推导过程如下:
其中
其中
就是B矩阵的内容
所以
最终
时间复杂度为O(TNT) N为隐藏状态个数, 指数次复杂度,比较难得出结果
在给定t时刻隐藏状态为i,观测序列为{O1,O2……OT}的概率叫做前向概率
那么我们只需要求得T时刻所有隐藏状态的前向概率就可以了
又可以得到
有了递推公式,则这个问题被转移成了一个动态规划,时间复杂度变为了O(N2T)
举例:
观测序列为{红 白 红}
在时刻1:
红色球,盒子1:
红色球,盒子2:
红色球,盒子3:
时刻2:
白色球,盒子1:
白色球,盒子2:
白色球,盒子3:
时刻3:
红色球,盒子1:
红色球,盒子2:
红色球,盒子3:
所以
2.4.2 给定观测序列O={o1,o2……oT} 求参数λ=(A,B,π)使得P(O|λ)最大
给定状态序列的话,模型参数十分好求
初始概率π直接查询状态序列就可以了
状态转移概率公式:
生成观测概率:
需要使用em算法
列概率最大值的对数似然方程
其中后部分
可视为一个常数
所以
其中三部分分别仅存在π、A、B参数,分别使用拉格朗日乘子法就可以求解
2.4.3 已知模型λ=(A,B,π)和观测序列O={o1,o2……oT} ,求状态序列I={i1,i2……iT}使得P(O|λ)最大
维特比算法
对于t时刻,隐藏状态为i,要找到所有可能路径的最大值
递推公式为
概率最大路径中t-1的状态为
举例:
观测到序列为 {红 白 红}
t1时刻
t2时刻
t3时刻
此时3最大,所以隐藏序列为(3,3,3)
hmmlearn工具安装十分方便,执行
pip install hmmlearn
就可以了
# 隐藏状态:三个盒子
states = ['box1', 'box2', 'box3']
n_states = len(states)
observations = ['red', 'white']
n_observations = len(observations)
start_probability = np.array([0.2, 0.4, 0.4])
transition_probability = np.array([
[0.5, 0.2, 0.3],
[0.3, 0.5, 0.2],
[0.2, 0.3, 0.5]
])
emission_probability = np.array([
[0.5, 0.5],
[0.4, 0.6],
[0.7, 0.3]
])
model = hmm.CategoricalHMM(n_components=n_states)
model.startprob_ = start_probability
model.transmat_ = transition_probability
model.emissionprob_ = emission_probability
model.n_features = n_observations
seen = np.array([[0, 1, 0]]).T
logprob, box = model.decode(seen, algorithm='viterbi')
print(np.array(states)[box])
box2 = model.predict(seen)
print(np.array(states)[box2])
# 求观测序列的可能性
print(model.score(seen))
# em算法求模型参数
model2 = hmm.CategoricalHMM(n_components=n_states, n_iter=20, tol=0.01)
X2 = np.array([[0, 1, 0, 1], [0, 0, 0, 1], [1, 0, 1, 1]])
model2.fit(X2)
print('startprob_', model2.startprob_)
print('transmat_', model2.transmat_)
print('emissionprob_', model2.emissionprob_)
print('score', model2.score(X2))
将字视为观测状态,将词的位置信息视为隐藏状态,就可以实现分词啦
# 实现中文分词
data = [{u'我要吃饭': 'SSBE'}, {u'天气不错': 'BEBE'}, {u'谢天谢地': 'BMME'}]
def getwords():
res = []
for line in data:
for key in line:
for word in key:
if word not in res:
res.append(word)
return ''.join(res)
def get_startprob(data):
"""
获取bmes起始矩阵
:return:起始矩阵
"""
c = 0
c_map = {'B': 0, 'M': 0, 'E': 0, 'S': 0}
for v in data:
for key in v:
value = v[key]
c = c + 1
print('value[0] is ' + value[0])
c_map[value[0]] = c_map[value[0]] + 1
print('c_map[value[0]] is ' + str(c_map[value[0]]))
res = []
for i in 'BMES':
res.append(c_map[i] / float(c))
return res
def get_transmat(data):
"""
获取状态转移矩阵
:return:状态转移矩阵
"""
c = 0
c_map = {}
for v in data:
for key in v:
value = v[key]
print('value[0] is ' + value[0])
for v_i in range(len(value) - 1):
couple = value[v_i:v_i + 2]
c_couple_source = c_map.get(couple, 0)
c_map[couple] = c_couple_source + 1
c = c + 1
print('get_transmat\'s c_map is ' + str(c_map))
res = []
for i in 'BMES':
col = []
col_count = 0
for j in 'BMES':
col_count = c_map.get(i + j, 0) + col_count
for j in 'BMES':
col.append(c_map.get(i + j, 0) / float(col_count))
res.append(col)
return res
def get_emissionprob(data):
"""
获取现象转换矩阵
:return:现象转换矩阵
"""
c_map = {}
for v in data:
for key in v:
k = key
value = v[key]
print('value[0] is ' + value[0])
for v_i in range(len(value)):
couple = value[v_i] + k[v_i]
print('emition\'s couple is ' + couple)
c_couple_source = c_map.get(couple, 0)
c_map[couple] = c_couple_source + 1
res = []
print('emmition\'s c_map is ' + str(c_map))
words = getwords()
for i in 'BMES':
col = []
col_count = 0
for j in words:
col_count = c_map.get(i + j, 0) + col_count
for j in words:
col.append(c_map.get(i + j, 0) / float(col_count))
res.append(col)
return res
def get_array_from_phase(data, phase):
c_map = {}
c = 0
for line in data:
for key in line:
for word in key:
if word not in c_map.keys():
c_map[word] = c
c = c + 1
res = []
for word in phase:
res.append(c_map[word])
return res
startprob = np.array(get_startprob(data))
print('startprob is ', startprob)
transmat = np.array(get_transmat(data))
print('transmat is ', transmat)
emissionprob = np.array((get_emissionprob(data)))
print('emissionprob', emissionprob)
cate_hmm = hmm.CategoricalHMM(n_components=4)
cate_hmm.startprob_ = startprob
cate_hmm.transmat_ = transmat
cate_hmm.emissionprob_ = emissionprob
phase = u'我要吃饭谢天谢地'
X = np.array(get_array_from_phase(data, phase))
X = X.reshape(len(phase), 1)
print('X is ', X)
Y = cate_hmm.predict(X)
print('Y is ', Y)
手机扫一扫
移动阅读更方便
你可能感兴趣的文章