日志收集方案 ¶
日志收集技术栈ELK(ELKB) + Filebeat ¶
FileBeat、Kafka、Logstash、ElasticSearch、Kibana 搭建一套完整的日志分析平台。
日志的分析的流程
（1）通过 FileBeat 采集服务器上的日志，然后将采集好的日志推送到 Kafka 中。此时为什么不直接将采集的日志推送到 Logstash 呢？因为 logstash 在并发量很大的时候容易丢失数据，所以为了保证数据不丢失我们采用 Kafka 将流量消峰然后把数据推送给 Logstash 消费。
（2）kafka 将队列中的日志数据给 Logstash 消费，Logstash 将数据做定制化处理，处理好数据后再推送到 ES 指定的索引中。
（3）ES 收到 Logstash 推送的数据之后存储对于索引的分片中，由于 ES 自身的特性，针对海量数据处理能力还是很优秀的。
（4）开发人员或运维人员通过 Kinaba 可视化平台查询 ES 中的数据。