maxframe.tensor.special.rel_entr#

maxframe.tensor.special.rel_entr(x, y, out=None, where=None, **kwargs)[源代码]#

逐元素计算相对熵的函数。

\[\begin{split}\mathrm{rel\_entr}(x, y) = \begin{cases} x \log(x / y) & x > 0, y > 0 \\ 0 & x = 0, y \ge 0 \\ \infty & \text{otherwise} \end{cases}\end{split}\]
参数:

  • x (array_like) -- 输入数组

  • y (array_like) -- 输入数组

  • out (ndarray, optional) -- 可选的输出数组，用于存储函数结果

返回:

输入的相对熵

返回类型:

scalar or ndarray

参见

entr, kl_div

备注

此函数在 x 和 y 上是联合凸函数。

此函数起源于凸优化；参见 [1]。给定两个离散概率分布 \(p_1, \ldots, p_n\) 和 \(q_1, \ldots, q_n\)，统计的相对熵可通过求和计算

\[\sum_{i = 1}^n \mathrm{rel\_entr}(p_i, q_i).\]

详见 [2]。

引用