vlambda博客
学习文章列表

一.产品背景

随着互联网等技术的高速发展，数据也随之以几何级增长。通过大数据平台，可以有效利用运营管理系统的既有数据，进行深度分析挖掘，达到提升客户感知、提高运维效率、加速故障定位、支撑辅助决策的目的，从而保障运营服务质量、实现数据价值。

二.产品特性

2.1海量日志数据接入

    统一的系统日志、应用日志、应用数据、网络等数据集中接入，支持数据的统一存储、统一处理。

2.2场景模块化

• 结构化数据处理是将报文、日志、多媒体等非结构化的数据根据预先定义的关键字模型，进行数据清洗、转换、建立标准化索引，实现数据的存储管理功能；
• 结构化数据处理是将性能、配置、监控等数据抽取结果根据预先定义的不同维度进行简单整理汇聚的功能
  

• Logstash和Kafka实现日志源数据的统一/安全采集；
• 流式数据处理组件实现日志的分布式流式计算和外系统实时分发;
• 日志集中存储分析，支持Hadoop、Hbase、HDFS和ElasticSearch方案；
• 综合日志门户，提供全日志统一搜索、横纵向关联分析，报表定制/展现等。

• 实现对结构化数据、非结构化数据、流式数据的存储。 数据存储方式包括： 数据存储方式包括磁盘存储和可通过HDFS分布式文件系统、HBASE分布式数据库、MapReduce/Yarn分布式计算框架、HIVE数据仓库工具、ZooKeeper分布式协调系统等组件支撑的Hadoop日志云存储，以及MPP、NOSQL、分布式搜索引擎及其它分布式存储方式；
• 支持数据存储策略配置： 包括对存储周期、清除频率、存储位置等进行统一管理；
• 数据存储方式应方便使用，如用于实时检索的数据，存储方式应利于实现秒级检索。

• 数据管控平台从数据接口层取数据。
• 依据ETL流程的配置定义数据流向，匹配相应的数据算法、结合各数据处理的规则进行数据加工。
• 根据数据分析模型配置，将ETL加工完成的数据进行计算，并保存到相应的数据库中。

• 能够灵活定制、修改及删除数据抽取维度规则；
• 能够灵活定制数据抽取的汇聚算法公式；
• 能够按照预先定制的粒度将数据抽取结果进行整理汇聚；
• 能够提供按照核查规则进行的数据检查功能，完善数据整合有效性和完整性。
  

• 实现基于集群的任务调度，提供一站式任务调度与管理的功能。
• 具备预定义、预封装，支持前台UI定制报表功能。例如通过进行MapReduce映射， 实现通过hive的类SQL统计，供前台报表展示。
  

• 具备内存计算和网络直传的数据流计算能力，满足延迟在秒级至毫秒级别的计算需求。
• 具备高可扩展性，支持系统的自动扩展和服务的自动迁移。
• 具备计算节点和管理节点完全分布式化，全局无单点的能力。
  

• 支持数据存储策略配置：包括对存储周期、清除频率、存储位置等进行统一管理。
• 数据存储方式应方便使用，如用于实时检索的数据，存储方式应利于实现高效检索。
• 具备计算节点和管理节点完全分布式化，全局无单点的能力。
  

3.2.1.5数据检索

• 支持按数据分类检索，按数据二级分类，应用交易日志、应用运行日志、系统日志、运维数据检索。
• 应用交易日志、探测数据提供按时间、业务类型、渠道、地市、营业厅、手机号等检索；应用运行日志和系统日志提供按时间、IP地址、业务系统，日志级别，应用类名/方法名等检索；运维数据提供按时间、IP地址、资源名称等检索；指标数据提供按时间、指标对象、指标ID、指标名称等检索；资源数据提供按资源类型、资源状态、资源名称、系统名称等检索。
• 支持按不同的时间粒度检索，例如30分钟、小时、日、周、月。
• 数据检索权限访问控制，各省只能检索本省的数据，中心权限可检索全局。

3.2.2 业务端到端

3.2.2.1业务整体性能展示

• 根据不同业务中心，实现对业务流程、处理速度的监控。

• 根据不同业务展示业务关键指标，指标趋势。

3.2.2.2服务调用拓扑展示

• 展示业务整体服务调用图，每个服务节点展示服务平均调用时长，超过阀值的节点根据告警级别突出展示。

3.2.2.3单笔跟踪展示

• 树型方式展示业务调用日志，业务日志详细信息。

• 调用链方式展示业务调用顺序，点击调用链节点，展示该节点相关业务日志信息。

3.2.2.4业务日志查询

• 能查询不同类型日志信息，按时间段查询日志，根据日志字段过滤日志记录。

3.3场景介绍

3.3.1日志检索

3.4.1数据提取

• 增量抽取：指抽取自上次抽取以来数据库中要抽取的表中新增、修改、删除的数据。
• 全量抽取：类似于 数据迁移 或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成可以识别的格式。

3.4.2日志分析清洗

• 在集中的基础上，通过各类型数据的关联分析，挖掘数据在业务运维支撑方面潜在价值，实现数据变现。
• 通过对数据更精细化的挖掘，深入关联业务的性能隐患与平台异动，贴心关注运维工作，宏观与微观的实时分析，构建具备“先进性、灵活性、融合性”的智能化业务服务管控平台，实现业务的“可视”、“可控”、“可分析”、“可追溯”。