Spark Streaming在数据平台日志解析功能的应用
一、日志解析功能的背景： 通过日志，我们可以获得很多有用的信息，最常见的日志信息包括应用产生的访问日志、系统的监控日志，本文所针对的日志是大数据离线任务产生的运行日志。目前日志解析功能依附于有赞大数据平台，也就是有赞的data_platform，为该平台的一个功能。 目前支持解析的日志类型包括：Hive任务、Spark任务、Datay增量任务、导入任务、导出、MR任务、Hbasebulk、脚本任务等。dataplatform支持的调度类型为：批量重跑、测试类型、正常调度和手动导入任务。 做这个日志解析部分的目的分为几个，…
Read More