PROSAGA码农传奇-机器学习-机器学习服务器日志数据

<div class =“post-text”itemprop =“text”>
  
    看一下

<a href="http://iiis.tsinghua.edu.cn/~weixu/">
      魏旭
    </A>
     等（2010）
    <a href="http://iiis.tsinghua.edu.cn/~weixu/files/slaml10.pdf">
      有关挖掘Google生产控制台日志的经验
    </A>
    
 以及他们引用的工作。总之，他们：
  
  <OL>
    <LI>
      从源代码中提取日志记录模板（例如“写入文件％s”）以从日志中提取标识符（日志中对应于％s的内容是标识符）。他们使用某些启发式方法来区分标识符和非标识符（例如时间）。
    </LI>
    <LI>
      使用值之间的比率而不是原始数字（例如，失败的比率和所有提交的比率）
    </LI>
    <LI>
      使用主成分分析来发现此类特征的向量中的异常。
    </LI>
  </醇>
  
    你可能做不到1.但也许你可以提取编写自己的“解析器”的变量。
  
  
    还有一个
    <a href="http://www.ll.mit.edu/mission/communications/ist/CST/index.html">
      DARPA挑战
    </A>
     发现这种数据的攻击，但这已经快15年了。
  
  
    有一些工具，如
    <a href="http://www.splunk.com">
      Splunk的
    </A>
    ，除了一个漂亮的界面，他们提供的不仅仅是简单的搜索和过滤。更新：有一个异常检测插件
    <a href="https://apps.splunk.com/app/1306/">
      prelert
    </A>
    。
  
  
    我不知道更多。如果您发现其他任何事情，请告诉我。
  
  
    那么我会做什么：
  
  <OL>
    <LI>
      
        从日志中提取功能/变量
      
      
        您可能无法访问生成消息的源代码，但我认为大部分日志可以被少量模式覆盖（例如，所有防火墙日志都具有相同的模式）。您可以编写正则表达式解析器从这些日志中提取功能（例如，在某些时间拒绝连接）。
      
    </LI>
    <LI>
      
        尝试异常检测（PCA，或者只是偏离它们的平均值）并对它们进行预测。
      
    </LI>
  </醇>
</DIV>