Question

1. 这里给出机器学习中用到的一些特殊函数。

4.1 sigmoid 函数

1. sigmoid函数：

   $ \sigma(x)=\frac{1}{1+\exp(-x)} $
   • 该函数可以用于生成二项分布的 $ MathJax-Element-106 $ 参数。
   • 当 $ MathJax-Element-125 $ 很大或者很小时，该函数处于饱和状态。此时函数的曲线非常平坦，并且自变量的一个较大的变化只能带来函数值的一个微小的变化，即：导数很小。

   

4.2 softplus 函数

1. softplus函数： $ MathJax-Element-108 $ 。

   • 该函数可以生成正态分布的 $ MathJax-Element-109 $ 参数。
   • 它之所以称作softplus，因为它是下面函数的一个光滑逼近： $ MathJax-Element-110 $ 。

   

2. 如果定义两个函数：

   $ x^{+}=\max(0,x)\\ x^{-}=\max(0,-x) $

   则它们分布获取了 $ MathJax-Element-111 $ 的正部分和负部分。

   根据定义有： $ MathJax-Element-112 $ 。而 $ MathJax-Element-113 $ 逼近的是 $ MathJax-Element-114 $ ， $ MathJax-Element-115 $ 逼近的是 $ MathJax-Element-116 $ ，于是有：

   $ \zeta(x)-\zeta(-x)=x $

3. sigmoid和softplus函数的性质：

   $ \sigma(x)=\frac{\exp(x)}{\exp(x)+\exp(0)} \\ \frac {d}{dx}\sigma(x)=\sigma(x)(1-\sigma(x)) \\ 1-\sigma(x)=\sigma(-x) \\ \log\sigma(x)=-\zeta(-x) \\ \frac{d}{dx}\zeta(x)=\sigma(x) \\ \forall x\in(0,1),\sigma^{-1}(x)=\log(\frac{x}{1-x}) \\ \forall x \gt 0,\zeta^{-1}(x)=\log(\exp(x)-1) \\ \zeta(x)=\int_{-\infty}^{x}\sigma(y)dy \\ \zeta(x)-\zeta(-x)=x \\ $

   其中 $ MathJax-Element-117 $ 为反函数。

   $ MathJax-Element-118 $ 也称作logit函数。

   

4.3 伽马函数

1. 伽马函数定义为：

   $ \Gamma(x)=\int_0^{+\infty} t^{x-1}e^{-t}dt\quad,x\in \mathbb R\\ or. \quad\Gamma(z)=\int_0^{+\infty} t^{z-1}e^{-t}dt\quad,z\in \mathbb Z\\ $

   

   性质为：

   • 对于正整数 $ MathJax-Element-119 $ 有： $ MathJax-Element-120 $ 。

   • $ MathJax-Element-121 $ ，因此伽马函数是阶乘在实数域上的扩展。

   • 与贝塔函数的关系：

     $ B(m,n)=\frac{\Gamma(m)\Gamma(n)}{\Gamma(m+n)} $

   • 对于 $ MathJax-Element-122 $ 有：

     $ \Gamma(1-x)\Gamma(x)=\frac{\pi}{\sin\pi x} $

     则可以推导出重要公式： $ MathJax-Element-123 $ 。

   • 对于 $ MathJax-Element-124 $ ，伽马函数是严格凹函数。

2. 当 $ MathJax-Element-125 $ 足够大时，可以用Stirling 公式来计算Gamma函数值： $ MathJax-Element-126 $ 。

4.4 贝塔函数

1. 对于任意实数 $ MathJax-Element-127 $ ，定义贝塔函数：

   $ B(m,n)=\int_0^1 x^{m-1}(1-x)^{n-1} dx $

   其它形式的定义：

   $ B(m,n)=2\int_0^{\frac \pi 2}\sin ^{2m-1}(x) \cos ^{2n-1}(x) dx\\ B(m,n) = \int_0^{+\infty}\frac{x^{m-1}}{(1+x)^{m+n}} dx\\ B(m,n)=\int_0^1\frac{x^{m-1}+x^{n-1}}{(1+x)^{m+n}}dx $

2. 性质：

   • 连续性：贝塔函数在定义域 $ MathJax-Element-128 $ 内连续。

   • 对称性： $ MathJax-Element-129 $ 。

   • 递个公式：

     $ B(m,n) = \frac{n-1}{m+n-1}B(m,n-1),\quad m\gt0,n\gt1\\ B(m,n) = \frac{m-1}{m+n-1}B(m-1,n),\quad m\gt1,n\gt0\\ B(m,n) = \frac{(m-1)(n-1)}{(m+n-1)(m+n-2)}B(m-1,n-1),\quad m\gt1,n\gt1 $

   • 当 $ MathJax-Element-131 $ 较大时，有近似公式：

     $ B(m,n)=\frac{\sqrt{(2\pi)m^{m-1/2}n^{n-1/2}}}{(m+n)^{m+n-1/2}} $

   • 与伽马函数关系：

     • 对于任意正实数 $ MathJax-Element-131 $ ，有：

       $ B(m,n)=\frac{\Gamma(m)\Gamma(n)}{\Gamma(m+n)} $

     • $ MathJax-Element-132 $ 。