大数据采集海量日志采集系统flume架构与原理-职坐标

大数据采集海量日志采集系统flume架构与原理

沉沙 2018-10-11 来源：阅读 3670 评论 0

摘要：本篇教程介绍了大数据采集海量日志采集系统flume架构与原理，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据采集的理解更加深入。

本篇教程介绍了大数据采集海量日志采集系统flume架构与原理，希望阅读本篇文章以后大家有所收获，帮助大家对大数据云计算大数据采集的理解更加深入。

1、Flume概念
flume是分布式日志收集系统，将各个服务器的数据收集起来并发送到指定地方。
Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。

2、Event的概念
flume的核心：把数据从数据源source收集过来，再将收到的数据发送到指定的目的地sink。发送到sink之前，会先缓存到channel，待数据真正到达sink后，flume再删除自己缓存的数据。事务保证在event级别进行。
event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录，event也是事务的基本单位。
event本身是一个字节数组，可以携带headers信息。

3、flume架构
flume本身是一个agent，是一个java进程，运行在日志收集节点。
agent包含三个核心组件：source > channel > sink。
source：专门用于收集数据，支持console、RPC、text、tail、syslog、exec。
channel：对采集到的数据进行简单缓存，可以存放在内存、文件、jdbc等
sink：用于把数据发送到目的地，支持HDFS、console、text、RPC、syslogTCP
4、flume运行机制
flume支持多级flume，即sink可以将数据写入下一个agent的source，从而连成串，整体处理。flume还支持扇入（source可以接收多个输入）、扇出（sink可以将数据输出到多个目的地）。

5、flume主要用于大数据处理的数据采集层，如日志采集。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据采集频道！

csdn 大数据算法模型大疆数据采集数据采集系统设计方案

本文由 @沉沙发布于职坐标。未经许可，禁止转载。