深度学习 – 基础的Greedy Search和Beam Search算法的Python实现
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:深度学习 – 基础的Greedy Search和Beam Search算法的Python实现
原文链接:https://www.stubbornhuang.com/2219/
发布于:2022年07月18日 9:37:36
修改于:2022年07月18日 9:37:36

假设当前词汇表中总共有5个词汇,现在有一个概率矩阵需要解码为词序列,词序列中包含10个词,以下通过Greedy Search Decoder和Beam Search Decoder对该词序列分别进行解码。
1 Greedy Search
import numpy as np
# greedy decoder
def greedy_decoder(data):
# 每行最多的概率值索引
return [np.argmax(s) for s in data]
if __name__ == '__main__':
data = [[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1]]
data = np.array(data)
result = greedy_decoder(data)
print(result)
输出
[4, 0, 4, 0, 4, 0, 4, 0, 4, 0]
2 Beam Search
from math import log
import numpy as np
# beam search
def beam_search_decoder(data, beam_size):
sequences = [[list(), 0.0]]
# 遍历每一个序列
for row in data:
all_candidates = list()
# 在下一个序列中找到候选者
for i in range(len(sequences)):
seq, score = sequences[i]
for j in range(len(row)):
candidate = [seq + [j], score - log(row[j])]
all_candidates.append(candidate)
# 根据分数排序所有的候选者
ordered = sorted(all_candidates, key=lambda tup:tup[1])
# 选择beam_size个最大的
sequences = ordered[:beam_size]
return sequences
if __name__ == '__main__':
data = [[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1],
[0.1, 0.2, 0.3, 0.4, 0.5],
[0.5, 0.4, 0.3, 0.2, 0.1]]
data = np.array(data)
result = beam_search_decoder(data,3)
for seq in result:
print(seq)
输出
[[4, 0, 4, 0, 4, 0, 4, 0, 4, 0], 6.931471805599453]
[[4, 0, 4, 0, 4, 0, 4, 0, 4, 1], 7.154615356913663]
[[4, 0, 4, 0, 4, 0, 4, 0, 3, 0], 7.154615356913663]
当前分类随机文章推荐
- 深度学习 - Python实现CTC Decode解码算法Greedy Search Decode,Beam Search Decode,Prefix Beam Search Decode 阅读134次,点赞0次
- Transformer - 理解Transformer必看系列之,1 Self-Attention自注意力机制与多头注意力原理 阅读66次,点赞0次
- 深度学习 - 数据集中训练集、验证集、测试集的划分以及各自作用 阅读584次,点赞0次
- Transformer - 理解Transformer必看系列之,2 Positional Encoding位置编码与Transformer编码解码过程 阅读66次,点赞0次
- 深度学习 - 图解Transformer,小白也能看懂的Transformer处理过程 阅读106次,点赞0次
- 深度学习 - 经典的卷积神经网络(CNN)模型结构 阅读86次,点赞0次
- 深度学习 - Transformer详细注释 阅读66次,点赞0次
- 深度学习 - 通俗理解Beam Search Algorithm算法 阅读72次,点赞0次
- 深度学习 - 语音识别框架wenet的非流式与流式混合训练机制 阅读32次,点赞0次
- 深度学习 - 卷积神经网络CNN简介 阅读59次,点赞0次
全站随机文章推荐
- Centos7 - nohup方式优雅的部署jar包 阅读2329次,点赞0次
- Modern OpenGL从零开始 - 在Visual Studio中配置OpenGL开发环境 阅读1967次,点赞0次
- OpenCV - 将图片转换为深度学习模型输入格式,BGR通道转RGB,图片归一化,HWC转CHW 阅读2093次,点赞0次
- Duilib - RichEdit控件发送textchanged消息 阅读625次,点赞0次
- 资源分享 - 实时碰撞检测算法技术,Real-Time Collision Detection中文版 PDF下载 阅读571次,点赞0次
- WPF - 代码动态更换按钮的背景图片 阅读2415次,点赞0次
- 资源分享 - Game Programming Gems 2 英文高清PDF下载 阅读1390次,点赞0次
- 深度学习 - 理解LSTM网络[翻译] 阅读65次,点赞0次
- 资源分享 - Level of Detail for 3D Graphics 英文高清PDF下载 阅读1226次,点赞1次
- Windows - 使用类的成员函数作为Win32窗口消息回调处理函数WindowProc 阅读383次,点赞0次
评论
153