1 Sigmoid

Sigmoid激活函数的公式：

sigmoid(x) = \frac{1}{1+e^{-x} }

相同的，该函数也可以写成：

sigmoid(x) = \frac{1}{1+e^{-x} } = \frac{e^{x} }{1+e^{x}} = \frac{1}{2} tanh(\frac{x}{2} )+\frac{1}{2}

Sigmoid激活函数的函数曲线：

Sigmoid激活函数的快速替代函数以及相应的C++实现-StubbornHuang Blog

相应的C++代码为：

float sigmoid(float x)
{
    return (1 / (1 + exp(-x)));
}

但是exp函数的执行效率非常低，如果要对大数组中张量进行sigmoid运算，性能是比较大的瓶颈。那有没有什么好的快速方案既可以在数值上逼近Sigmoid函数，也可以拥有比较好的计算效率，节省计算开销呢？本文将总结一些Sigmoid函数的替代方案用于在一些场景替换Sigmoid函数并具有较高的计算性能。

2 Sigmoid的近似与快速替代方案

2.1 方案1

此文章剩余72%被隐藏需要付费查看，内容查看价格1小饼子立即购买，VIP免费
支付前请仔细阅读以下说明，如支付代表您了解并同意了以下说明：
（1）资源收集自互联网，仅供自我学习，请在下载后24小时内删除该资源，如下载者将此资源用于其他非法用途，本站不承担任何法律责任；如有侵权，请立即联系我，马上删除！
（2）下载单个资源则点击立即下载或者立即购买按钮；本站VIP可下载本站所有资源。
（3）请不要使用手机以及电脑浏览器的无痕模式进行支付操作，以免造成支付成功但未显示下载链接。
（4）如遇支付问题或者资源失效问题请点击按钮点击反馈进行反馈或者发送说明邮件到stubbornhuang@qq.com