日志文件数据采集组件
1、日志文件数据采集组件对比(后续逐个介绍)
方案 | 架构 | 特点 |
Apache Flume | 由source,channel、sink组成。 多个Agent可以组成调用链 |
支持一个Agent中有多个不同类型的channel和sink, 可以选择把Source的数据分发给不同的目的地 |
LogStash | 包含input、Filter、output组成 | 灵活性高,支持很多插件 |
Fluentd | 包含Input、Parser、Output、 match、Formatter、Buffer |
fluentd设计简洁,pipeline内数据传递可靠性高。 |
Filebeta | prospector和harvesters | 没有任何依赖,占用资源极少,可靠性高 |
logtail | 阿里云日志服务的生产者, 为阿里公有云用户提供日志收集服务 |
采用C++语言实现,对稳定性、资源控制、 管理等下过很大的功夫,性能良好 |