我列出了282个项目,由6个独立编码器分为20个类别。
20个类别由单词定义(例如“感知”,“评估”等)。
这6名程序员……
你至少可以简单地在R中获得Cohen的Kappa及其sd(在我看来是迄今为止最好的选择)。
该 PresenceAbsence 包有Kappa(参见?Kappa)功能。
您可以使用常规包装 install.packages("PresenceAbsence") ,然后传递一个混淆矩阵,即:
install.packages("PresenceAbsence")
# we load the package library(PresenceAbsence) # a dummy confusion matrix cm <- matrix(round(runif(16, 0, 10)), nrow=4) Kappa(cm)
你将获得Kappa及其sd。据我所知,使用Kappa指标进行测试存在局限性(例如参见 https://en.wikipedia.org/wiki/Cohen “s_kappa#Significance_and_magnitude)。
希望这可以帮助