在TensorFlow中单词logits的含义是什么？

作者: 句号了哦哦
发布时间: 2024-12-29 02:51:25 (8天前)
转自：

8 条回复

0#
回复此人
蜡笔小辛 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 的 Logit模型 </强> 是一个映射概率的函数 <code> [0, 1] </code> 至 <code> [-inf, +inf] </code> 。 的 SOFTMAX </强> 是一个映射的函数 <code> [-inf, +inf] </code> 至 <code> [0, 1] </code> 类似于Sigmoid。但Softmax还将值（输出矢量）的总和归一化为1。 的 Tensorflow“with logit” </强> ：这意味着您正在应用softmax函数来记录数字以对其进行标准化。 input_vector / logit未规范化，可以从[-inf，inf]缩放。 该规范化用于多类分类问题。对于多标签分类问题，使用sigmoid归一化，即 <code> tf.nn.sigmoid_cross_entropy_with_logits </code> </DIV>

编辑
1#
回复此人
林老爷的日常 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> Logits是一个重载的术语，可能意味着许多不同的东西： <HR /> 的 在数学中 </强> ， <a href="https://en.wikipedia.org/wiki/Logit" rel="noreferrer"> Logit模型 </A> 是一个映射概率的函数（ <code> [0, 1] </code> ）到R（ <code> (-inf, inf) </code> ） <a href="https://i.stack.imgur.com/zto5q.png" rel="noreferrer"> <img src =“https://i.stack.imgur.com/zto5q.png”alt =“在此处输入图片说明”/> </A> 0.5的概率对应于0的logit。负logit对应于小于0.5的概率，对于＆gt;的正概率。 0.5。 的 在ML </强> ，它 <a href="https://developers.google.com/machine-learning/glossary/#logits" rel="noreferrer"> 可 </A> <BLOCKQUOTE> 原始（非标准化）预测的向量，即分类模型生成，通常然后传递给标准化功能。如果模型正在解决多类分类问题，logits通常成为softmax函数的输入。该 softmax函数然后生成（标准化）概率的向量每个可能的类有一个值。 </BLOCKQUOTE> 的 也记录 </强> <a href="https://developers.google.com/machine-learning/glossary/#logits" rel="noreferrer"> 有时 </A> 指的是sigmoid函数的逐元逆。 </DIV>

编辑
2#
回复此人
布偶的表弟派大星丶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 个人理解，在TensorFlow域中，logits是用作softmax输入的值。我基于这个tensorflow教程得出了这种理解。 <a href="https://www.tensorflow.org/tutorials/layers" rel="nofollow noreferrer"> https://www.tensorflow.org/tutorials/layers </A> <HR /> 虽然logit是数学中的一个函数（特别是在统计学中），但我认为你所看到的'logit'并不相同。在书里 深度学习 他提到，Ian Goodfellow， <BLOCKQUOTE> 功能蟽 鈭1 （x）在统计学中称为logit，但这个术语更少用于机器学习。蟽 鈭1 （x）代表 Logistic Sigmoid函数的反函数。 </BLOCKQUOTE> 在TensorFlow中，它经常被视为最后一层的名称。在本书的第10章 用Scikit-learn和TensorFLow学习动手机器 通过AurélienGéron，我发现了这一段，其中说明了这一点 <code> logits </code> 层清楚。 <BLOCKQUOTE> 注意 <code> logits </code> 是神经网络的输出 之前 去通过softmax激活功能：出于优化原因，我们稍后将处理softmax计算。 </BLOCKQUOTE> 也就是说，虽然我们在设计的最后一层使用softmax作为激活函数，但为了便于计算，我们取出 <code> logits </code> 分别。这是因为计算效率更高 <code> softmax </code> 和 <code> cross-entropy </code> 一起失去。记住这一点 <code> cross-entropy </code> 是一种成本函数，不用于前向传播。 </DIV>

编辑
3#
回复此人
甲基蓝 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> Logits通常是Tensorflow中输出层的Z函数值。 </DIV>

编辑
4#
回复此人
早岁那知世事艰 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <BLOCKQUOTE> logit（/藞lo蕣d萧瑟t / LOH-jit）函数是数学中使用的S形“逻辑”函数或逻辑变换的反函数，尤其是在统计学中。当函数的变量表示概率p时，logit函数给出log-odds，或者赔率的对数p /（1鈭鈭p）。 </BLOCKQUOTE> 看这里： <a href="https://en.wikipedia.org/wiki/Logit" rel="nofollow noreferrer"> https://en.wikipedia.org/wiki/Logit </A> </DIV>

编辑
5#
回复此人
薄情 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 它们基本上是你可以从网络中获得的最完整的学习模型，在被压缩之前只应用于我们感兴趣的类的数量。看看一些研究人员如何使用它们来训练基于深层的浅层神经网络网络了解到： <a href="https://arxiv.org/pdf/1312.6184.pdf" rel="nofollow noreferrer"> https://arxiv.org/pdf/1312.6184.pdf </A> 这有点像在详细学习一门课程时，你会学到很多小问题，但在教学生时，你会尝试将其压缩到最简单的情况。如果学生现在尝试教学，那将是非常困难的，但是能够很好地描述它以使用该语言。 </DIV>

编辑
6#
回复此人
大黑骡子王 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 这是对未来读者的简明回答。 <code> Tensorflow </code> 的 <code> logit </code> 被定义为没有应用激活函数的神经元的输出： <pre> <code> logit = w*x + b, </code> </pre> x：输入，w：重量，b：偏差。而已。 <HR /> 的 以下与此问题无关。 </强> 对于历史讲座，请阅读其他答案。帽子去 <code> Tensorflow </code> “创造性地”混淆命名惯例。在 <code> PyTorch </code> ，只有一个 <code> CrossEntropyLoss </code> 它接受未激活的输出。卷积，矩阵乘法和激活是同一级别的操作。设计更模块化，更少混乱。这是我切换的原因之一 <code> Tensorflow </code> 至 <code> PyTorch </code> 。 </DIV>

编辑

登录后才能参与评论