这些资源你可能感兴趣
ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合，是目前开源界最流行的实时数据分析方案，成为实时日志处理领域开源界的第一选择。然而，ELKstack也并不是实时数据分析界的灵丹妙药，使用不恰当，反而会事倍功半。本书对ELKstack的原理进行了解剖，不仅分享了大量实战案例和实现效果，而且分析了部分源代码，使读者不仅知其然还知其所以然。读者可通过本书的学习，快速掌握实时日志处理方法，并搭建符合自己需要的大数据分析系统。本书分为三大部分，共19章。第一部分“Logstash”介绍Logstash的安装与配置、场景示例、性能与测试、扩展方案、源码解析、插件开发等，第二部分“Elasticsearch”介绍Elasticsearch的架构原理、数据接口用例、性能优化、测试和扩展方案、映射与模板的定制、监控方案等，第三部分“Kibana”介绍Kibana3和Kibana4的特点对比，Kibana3的配置、案例与源代码解析、Kibana4的配置、案例与源代码解析。
编辑推荐
《ELKstack权威指南》对ELKstack的原理进行了解剖，不仅分享了大量实战案例和实现效果，而且分析了部分源代码，使读者不仅知其然还知其所以然。读者可通过《ELKstack权威指南》的学习，快速掌握实时日志处理方法，并搭建符合自己需要的大数据分析系统。
作者简介
饶琛琳，新浪网系统架构师，曾任人人网技术专家，中华网高级运维工程师等职位。参与了大规模系统的运维监控设计与自动化平台建设，对CDN架构、系统监控和日志分析都有丰富的经验。乐于分享，是ElasticsearchChina用户组负责人之一，活跃于Puppet和Logstash等开源社区，分享了大量技术文章。
目录
第一部分 Logstash
第1章 入门示例 3
1.1 下载安装 3
1.2 Hello World 5
1.3 配置语法 7
1.3.1 语法 8
1.3.2 命令行参数 10
1.4 插件安装 11
1.5 长期运行方式 12
第2章 插件配置 15
2.1 输入插件 15
2.1.1 标准输入 16
2.1.2 文件输入 17
2.1.3 TCP输入 18
2.1.4 syslog输入 19
2.1.5 collectd输入 21
2.2 编解码配置 23
2.2.1 JSON编解码 24
2.2.2 多行事件编码 —25
2.2.3 网络流编码 26
2.3 过滤器配置 _28
2.3.1 date时间处理 28
2.3.2 grok正则捕获 30
2.3.3 GeoIP地址查询 33
2.3.4 JSON编解码 34
2.3.5 key—value切分 35
2.3.6 metrics数值统计 36
2.3.7 mutate数据修改 37
2.3.8 随心所欲的Ruby处理 42
2.3.9 split拆分事件 _43
2.3.10 elapsed 43
2.4 输出插件 44
2.4.1 输出到Elastic search 44
2.4.2 发送email 49
2.4.3 调用系统命令执行 50
2.4.4 保存成文件 50
2.4.5 报警发送到Nagios 51
2.4.6 statsd 52
2.4.7 标准输出stdout 54
2.4.8 TCP发送数据 55
2.4.9 输出到HDFS 55
第3章 场景示例 57
3.1 Nginx访问日志 57
3.1.1 grok处理方式 57
3.1.2 split处理方式 —58
3.1.3 json格式 61
3.1.4 syslog方式发送 62
3.2 Nginx错误日志 62
3.3 Postfix日志 63
3.4 Ossec日志 64
3.4.1 配置所有Ossec agent采用syslog输出 64
3.4.2 配置Logstash 65
3.4.3 推荐Kibana仪表盘 65
3.5 Windows系统日志 67
3.5.1 采集端配置 67
3.5.2 接收解析端配置 68
3.6 Java日志 69
3.6.1 Log4J配置 70
3.6.2 Logstash配置 70
3.6.3 异常堆栈测试验证 70
3.6.4 JSON Event layout 71
3.7 MySQL慢查询日志 73
3.8 Docker日志 74
3.8.1 记录到主机磁盘 75
3.8.2 通过logspout收集 75
第4章 性能与监控 77
4.1 性能测试 77
4.1.1 配置示例 77
4.1.2 使用方式 78
4.1.3 额外的话 79
4.2 监控方案 79
4.2.1 logstash—input—heartbeat心跳检测方式 80
4.2.2 JMX启动参数方式 81
第5章 扩展方案 83
5.1 通过Redis队列扩展 84
5.1.1 读取Redis数据 84
5.1.2 采用list类型扩展Logstash 85
5.1.3 输出到Redis 86
5.2 通过Kafka队列扩展 87
5.2.1 Logstashl.4版本插件的安装 88
5.2.2 Input配置 88
5.2.3 Output配置 90
5.3 logstash—forwarder 91
5.3.1 Indexer端配置 91
5.3.2 Shipper端配置 92
5.3.3 AIX上的logstash—forwarder—java 93
5.4 Rsyslog 95
5.4.1 常用模块介绍 95
5.4.2 与Logstash合作 96
5.4.3 Mmextemal模块 97
5.5 Nxlog 99
5.6 Heka 101
5.7 Fluentd 102
5.7.1 配置示例 103
5.7.2 Fluentd插件 104
5.8 Message：：Passing 104
第6章 Logstash源码解析 107
6.2.1 Input中的 Codec 110
6.2.2 Output中的 Worker 111
第7章 插件开发 113
7.1 插件格式 113
7.2 插件的关键方法 114
7.3 插件打包 115
7.4 Filter插件开发示例 116
7.4.1 mmdb数据库的生成方法 116
7.4.2 LogStash：：Filters：：Mmdb实现117
7.4.3 logstash—filter—mmdb打包 119
7.5 Input插件开发示例 119
7.5.1 FileWatch模块原理 120
7.5.2 LogStash：：Inputs：：Utmp实现 121
7.6 Output插件开发示例 124
第二部分 Elasticsearch
第8章 架构原理 129
8.1 准实时索引的实现 129
8.1.1 动态更新的Lucene索引 129
8.1.2 利用磁盘缓存实现的准实时检索 130
8.1.3 translog提供的磁盘同步控制 131
8.2 segmentmerge的影响 132
8.2.1 归并线程配置 133
8.2.2 归并策略 134
8.2.3 Optimize接口 134
8.3 routing和replica的读写过程 134
8.3.1 路由计算 134
8.3.2 副本致性 135
8.4 shard的allocate控制 136
8.4.1 reroute接口 138
8.4.2 冷热数据的读写分离 138
8.5 自动发现的配置 139
8.5.1 multicast方式 140
8.5.2 unicast方式 140
第9章 数据接口用例 141
9.1 增删改查操作 141
9.2 搜索请求 143
9.2.1 全文搜索 143
9.2.2 聚合请求 145
9.3 脚本 147
9.3.1 动态提交 147
9.3.2 固定文件 147
9.3.3其他语言 148
9.4重建索引 148
9.4.1 Perl客户端 149
9.4.2 用Logstash重建索引 149
9.5 Spark Streaming交互 150
……
第10章 性能优化 153
第11章 测试和扩展方案 167
第12章 映射与模版的订制 181
第13章 监控方案 189
第14章 Elastic search在运维监控领域的其他应用 215
第三部分 Kibana
第15章 Kibana的产品对比 231
第16章 Kibana3235
第17章 Kibana3 源码解析 297
第18章 Kibana4319
第19章 Kibana4源码解析 363
本书评论