方案背景

目前保险行业伴随着社会意识形态、客观经济发展在逐步壮大。随着保险业务规模的不断扩大、业务信息系统的不断增加、提供服务的硬件设备的不断增加，每家保险公司系统运维面临的压力也越来越大。

作为系统运维的主要参考源数据──日志信息，无论从类型、还是数据量来看，都呈现出了爆炸式增长的趋势。传统的日志管理平台已经难以处理海量的日志数据，更难以基于这些日志数据做相关的统计分析，日志数据的价值无法被挖掘变现。鉴于上述原因，我们推出了基于大数据技术的日志管理解决方案。

方案内容

基于大数据技术的日志管理平台，包括日志数据的采集、日志索引数据的建立、海量日志数据的存储、统计、分析、挖掘，实时日志数据的计算及展示，支持系统运维过程中产生的几乎所有主要日志信息，包括服务器、安全设备、网络设备、中间件、数据库、应用系统的日志，全面覆盖了运维过程中对日志的查询、实时监控预警、报表统计分析、数据聚合挖掘等主要操作。平台综合采用了多种大数据技术组件，数据采集端使用Flume及Kafka，日志检索使用的ElasticSearch组件，实时流处理主要采用Storm，存储、分析主要采用HDFS、Hive、Spark等组件，整个平台具有分布式、高可靠、高可用性特点。

方案价值

基于大数据技术的保险行业日志管理平台，无论从支持的数据量、数据类型、采集能力、处理能力、分析能力等方面，都全面超越了传统的日志管理平台，极大提升了系统运维的能力，减轻了运维压力，实现日志数据增值：

打破日志信息孤岛

通过实时、批量的采集不同类型的日志信息，进而存储到统一的大数据平台中，完成各类型日志数据的统一管理；

提升实时预警预测能力

运用实时流式数据处理技术，在日志数据实时产生的过程中，通过特定算法规则，实时计算出重点关注的日志项结果，实现系统的实时预警预测能力；

挖掘日志信息潜在价值

通过对海量的日志数据进行关联、聚合、分析，挖掘出日志数据中有价值的信息点，用来指导运维及业务系统，实现日志数据的增值。