深度学习 – 基础的Greedy Search和Beam Search算法的Python实现
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:深度学习 – 基础的Greedy Search和Beam Search算法的Python实现
原文链接:https://www.stubbornhuang.com/2219/
发布于:2022年07月18日 9:37:36
修改于:2022年07月18日 9:37:36

假设当前词汇表中总共有5个词汇,现在有一个概率矩阵需要解码为词序列,词序列中包含10个词,以下通过Greedy Search Decoder和Beam Search Decoder对该词序列分别进行解码。
1 Greedy Search
import numpy as np
# greedy decoder
def greedy_decoder(data):
# 每行最多的概率值索引
return [np.argmax(s) for s in data]
if __name__ == '__main__':
data = [[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1]]
data = np.array(data)
result = greedy_decoder(data)
print(result)
输出
[4, 0, 4, 0, 4, 0, 4, 0, 4, 0]
2 Beam Search
from math import log
import numpy as np
# beam search
def beam_search_decoder(data, beam_size):
sequences = [[list(), 0.0]]
# 遍历每一个序列
for row in data:
all_candidates = list()
# 在下一个序列中找到候选者
for i in range(len(sequences)):
seq, score = sequences[i]
for j in range(len(row)):
candidate = [seq + [j], score - log(row[j])]
all_candidates.append(candidate)
# 根据分数排序所有的候选者
ordered = sorted(all_candidates, key=lambda tup:tup[1])
# 选择beam_size个最大的
sequences = ordered[:beam_size]
return sequences
if __name__ == '__main__':
data = [[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1]]
data = np.array(data)
result = beam_search_decoder(data,3)
for seq in result:
print(seq)
输出
[[4, 0, 4, 0, 4, 0, 4, 0, 4, 0], 6.931471805599453]
[[4, 0, 4, 0, 4, 0, 4, 0, 4, 1], 7.154615356913663]
[[4, 0, 4, 0, 4, 0, 4, 0, 3, 0], 7.154615356913663]
当前分类随机文章推荐
- 深度学习 - 通俗理解Beam Search Algorithm算法 阅读463次,点赞0次
- 深度学习 - 图像标准化与归一化方法 阅读359次,点赞0次
- Transformer - 理解Transformer必看系列之,1 Self-Attention自注意力机制与多头注意力原理 阅读408次,点赞0次
- 深度学习 - 基础的Greedy Search和Beam Search算法的Python实现 阅读547次,点赞0次
- 深度学习 - 深度学习中的多维数据存储方式NCHW和NHWC 阅读945次,点赞0次
- 深度学习 - 深度学习中的术语/专有名词归纳 阅读391次,点赞0次
- 深度学习 - 语音识别框架wenet源码wenet/utils/mask.py中的mask机制 阅读520次,点赞1次
- 深度学习 - CTC解码算法详解 阅读507次,点赞0次
- 深度学习 - NLP自然语言处理与语音识别中常用的标识符
阅读663次,点赞0次等的含义 - 深度学习 - Python实现CTC Decode解码算法Greedy Search Decode,Beam Search Decode,Prefix Beam Search Decode 阅读887次,点赞0次
全站随机文章推荐
- WordPress - WordPress升级5.8之后获取最新评论的代码失效问题解决 阅读1330次,点赞0次
- 资源分享 - 计算机动画算法与技术,Computer Animation - Algorithms and Techniques(Second Edition)中文版PDF下载 阅读989次,点赞0次
- 如何正确的选择深度学习模型工业化部署的方式 阅读1142次,点赞0次
- 资源分享 - GPU Pro 360 - Guide to Mobile Devices 英文高清PDF下载 阅读2117次,点赞0次
- 资源分享 - Foundations of Game Engine Development, Volume 2 Rendering 英文高清PDF下载 阅读3103次,点赞2次
- Duilib - RichEdit和List等控件增加垂直滚动条vscrollbar和水平滚动条hscrollbar 阅读1337次,点赞2次
- Duilib - Duilib的绘制机制和绘制流程 阅读188次,点赞1次
- 资源分享 - Digital Modeling of Material Appearance 英文高清PDF下载 阅读1317次,点赞0次
- C++11 - override关键字简要介绍 阅读1920次,点赞0次
- C++11 - 构建一个符合实际应用要求的线程池 阅读975次,点赞0次
评论
164