什么是splunk
Splunk是日志界的google。支持任何服务器产生的日志,其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索,并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh,grep中解放出来。
我们可以通过配置splunk,收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。
1. 安装splunk
可以在其中一台机器上安装splunk,安装方法可以参考:http://www.splunk.com/base/Documentation/latest/Installation/InstallonLinux
2. 为splunk添加数据源
Splunk的webconsole是: http://{install_machine_ip}:8000
以admin和默认的changeme密码登录后,可以看到这样的界面
现在,我们为splunk加入一个udp的数据源
"Add Data" à "UDP" à 新增资料
这里,我们添加了一个UDP数据源,类别为log4j,端口为1688
3. 修改log4j配置,将日志导入到splunk中。
修改HBase中conf的log4j配置,增加一个指向splunk server服务器的appender。
# syslog
#
log4j.rootLogger=INFO,logfile,SYSLOG
……
# Define the root logger to the system property "hbase.root.logger".
log4j.rootLogger=${hbase.root.logger},SYSLOG
.......
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.facility=local1
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%p %c{2}: %m%n
log4j.appender.SYSLOG.SyslogHost=10.64.66.211:1688
log4j.appender.SYSLOG.threshold=DEBUG
log4j.appender.SYSLOG.Header=true
log4j.appender.SYSLOG.FacilityPrinting=true
这个例子中,我们的syslog Host是10.64.66.211,将其改为实际的splunk server IP地址就可以了。
这样子,日志将导入到splunk,之后,我们就可以方便的对其查询了。
分享到:
相关推荐
面向云的日志处理引擎 --SPLUNK,利用splunk软件管理日志
Splunk机器数据及日志分析平台.pptx
splunk-aws-cloudformation, 用于Splunk分布式集群部署的AWS CloudFormation模板 Splunk AWS CloudFormation部署预先配置的Splunk单实例或者分布式集群的Easy-to-use AWS CloudFormation模板。单击所需配置以获得更...
SPLUNK大数据日志系统分析平台技术方案
使用Splunk(WMI)远程获取服务器日志
日志分析工具,splunk
Java Splunk日志记录 版本1.9.0 Java的Splunk日志记录使您能够将事件记录到Java应用程序内Splunk Enterprise实例上的HTTP事件收集器或TCP输入中。 您可以使用三种主要的Java日志记录框架: , 和 。 Java的Splunk...
分布式 搜索 日志收集分布式 搜索 日志收集分布式 搜索 日志收集
splunk 日志分析软件 Splunk 会收集、索引和利用由应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动计算机数据。您可以在几分钟内(而不是几个小时或几天)解决应用程序问题和调查安全事件,还可避免服务...
Splunk
splunk日志监控平台-用户管理权限设定归纳.pdf
具手机的数据比较原始,往往还需要一些更进一步的分析,才能定位...(注Splunk免费版支持每天500M的日志数据,超过这个额度需要收费)通过日志进行性能测试是非常常见的,传统的也是在要分析的代码处,注入性能日志,然
logspout-splunk 将 Docker 日志流转发到 Splunk TCP 输入的简单 logspout 模块。 这是正在进行中的工作,尚未进行大规模测试。 使用风险自负。Splunk 将其放入您的 Splunk“inputs.conf”(或通过 Web UI 添加新的 ...
JavaScript的Splunk日志记录版本0.10.1 该项目提供了一个简单JavaScript界面,用于登录Splunk Enterprise和Splunk Cloud中的HTTP事件收集器。要求Node.js v4或更高版本。 Splunk Enterprise 6.3.0或更高版本,或...
流浪 Splunk 领事演示 Splunk 6.2 集群与来自 HA-Proxy 的负载平衡。 HA-Proxy 安装在每个 Search Head 上,并从 Consul 动态获取其配置。指示对于新版本: 流浪起来consul先上来,看这里看后续 ha-proxy 在每个搜索...
使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据 。从一个位置搜索并分析所有实时和历史数据。使用 Splunking 处理计算机数据,可让您在几分钟内(而不是...
使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据 。 使用 Splunking 处理计算机数据,可让您在几分钟内解决问题和调查安全事件。监视您的端对端基础结构,避免服务性能降低或...
SPLUNK8.2.0中文手册,涵盖安装、数据接入、检索等内容,中文版本
扫描完整版 Splunk大数据分析 Splunk大数据分析 Splunk大数据分析
Splunk Enterprise 是一款软件产品,可让您搜索、分析和可视化从 IT 基础架构或业务的组件收集的数据。Splunk Enterprise 从网站、应用程序、传感器、设备等接收数据。定义数据源后,Splunk Enterprise 会索引数据流...