PROSAGA码农传奇-深度学习-为什么binary_crossentropy和categorical_crossentropy对同一问题给出不同的性能？

用户xtof54已经在下面的答案中报告了类别和二进制交叉熵之间明显的性能差异的原因，即：

evaluate当使用带有超过2个标签的binary_crossentropy时，用Keras方法计算出的精度是完全错误的

我想对此进行详细说明，说明实际的根本问题，加以解释，并提供补救措施。

这不是错误。根本原因是当您仅将其包括在模型编译中时，Keras如何根据所选择的损失函数实际猜测要使用哪种精度，这是一个相当微妙且未记录的问题metrics=['accuracy']。换句话说，当您的第一个编译选项

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
是有效的，您的第二个是：

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
不会产生您期望的结果，但是原因不是使用二进制交叉熵（至少在原则上是绝对有效的损失函数）。

这是为什么？如果检查度量标准源代码，Keras不会定义单个精度度量标准，而是定义多个不同的度量标准，其中binary_accuracy和categorical_accuracy。会发生什么引擎盖下的是，既然你选择了二进制交叉熵作为损失函数，并没有规定特定的准确性度量，Keras（错误...）推断出你感兴趣的binary_accuracy，而这也正是它返回-实际上，您对感兴趣categorical_accuracy。

让我们使用Keras中的MNIST CNN示例进行以下修改来验证是否是这种情况：

```
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])  # WRONG way

model.fit(x_train, y_train,
          batch_size=batch_size,
          epochs=2,  # only 2 epochs, for demonstration purposes
          verbose=1,
          validation_data=(x_test, y_test))

# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.9975801164627075

# Actual accuracy calculated manually:
import numpy as np
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98780000000000001

score[1]==acc
# False    
```

为了解决这个问题，即在仍然获得当前问题所需的绝对准确度的同时，将确实是二进制交叉熵用作损失函数（如我所说，至少在原则上没有错），您应该categorical_accuracy在模型编译如下：

```
from keras.metrics import categorical_accuracy
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[categorical_accuracy])
```

在MNIST的示例中，经过如上所示的训练，评分和预测测试集后，两个指标现在相同，它们应该是：

```
# Keras reported accuracy:
score = model.evaluate(x_test, y_test, verbose=0) 
score[1]
# 0.98580000000000001

# Actual accuracy calculated manually:
y_pred = model.predict(x_test)
acc = sum([np.argmax(y_test[i])==np.argmax(y_pred[i]) for i in range(10000)])/10000
acc
# 0.98580000000000001

score[1]==acc
# True    
```

系统设置：
```
Python version 3.5.3
Tensorflow version 1.2.1
Keras version 2.0.4
```