PROSAGA码农传奇-flume-将csv文件转换为hdfs，并使用flume将它们转换为avro

将csv文件转换为hdfs，并使用flume将它们转换为avro

作者: 早岁那知世事艰
发布时间: 2024-12-26 12:02:03 (2月前)
转自：

<div class =“post-text”itemprop =“text”>
  <P>
    Sory在配置中出错。我修复了它们，找到了将css转换为avro的方法。我有点修改
     <code>
      AvroEventSerializer
    </code>
     这条路：
  </p>
   <pre>
    <code>
      public void write(Event event) throws IOException {
        if (dataFileWriter == null) {
            initialize(event);
        }
        String[] items = new String(event.getBody()).split(",");
        city.put("deviceID", Long.parseLong(items[0]));
        city.put("groupID", Long.parseLong(items[1]));
        city.put("timeCounter", Long.parseLong(items[2]));
        city.put("cityCityName", items[3]);
        city.put("cityStateCode", items[4]);
        city.put("sessionCount", Long.parseLong(items[5]));
        city.put("errorCount", Long.parseLong(items[6]));
        dataFileWriter.append(citi);
    }

</code>
  </pre>
  <P>
    这是
     <code>
      city
    </code>
     定义：
  </p>
   <pre>
    <code>
      private GenericRecord city = null;

</code>
  </pre>
  <P>
    如果您知道更好的方法，请回复
  </p>
</DIV>