日期:2019/7/22
前言
以下是將在四張小圖畫在同一張圖中的作法,將圖排列為 $2 \times 2$ 的樣子,圖中的函數分別為
$$\mathrm{sigmoid:}~~~~~S(x) = \frac{1}{1+e^{-x}}$$
$$\mathrm{tanh:}~~~~~\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$
$$\mathrm{ReLU:}~~~~~f(x) = \begin{cases} 0 & \mathrm{if~~~} x < 0 \\ x & \mathrm{otherwise} \end{cases}$$ $$\mathrm{Leaky~ReLU:}f(x) = \begin{cases} \lambda x & \mathrm{if~~~} x < 0 \\ x & \mathrm{otherwise} \end{cases}$$