对接生态:Logstash 接入日志服务

  • 时间:
  • 浏览:1
  • 来源:彩神11选5_神彩11选5官方

为了我不要 还都后能 满足用户对 syslog 的埋点需求,我们歌词 歌词 为 Logtail 实现了相应的 Syslog 插件,该插件使 Logtail 具备了和 syslog 代理(比如 rsyslog 等)通信的能力,即作为有有五个 服务器接收代理所埋点的 syslog 日志。更多关于此插件的内容可见文档。

Logstash 端的配置需用使用到 Logstash 的 syslog 输出插件,这人插件并需用默认安装的,很多很多需用使用 logstash-plugin 进行安装,命令如下:

在这里我们歌词 歌词 简单地将 Logstash 的输入设置为 stdin,随后随便给了它有多少测试消息,接着我们歌词 歌词 能不还都后能 到查询分析控制台看看效果,如下:

需用注意配置中的 ssl_certificate 参数,这是有有五个 必要参数,也随后 说 Logstash 的这人插件要求用户需用指定服务端证书。随后我们歌词 歌词 是本地使用,对安全性的要求相对不高,越来越 有有五个 参数真是不太友好,好在我们歌词 歌词 能不还都后能 通过创建有有五个 本地自签名的证书来处里这人现象,这人我们歌词 歌词 会在后面 进行介绍。另外,我们歌词 歌词 将 codec 设置为 JSON,那我更能助 后续的解析。

随后 Logstash 也支持以 syslog 的形式将它埋点的日志进行输出,很多很多我们歌词 歌词 也我不要 还都后能 通过此插件去接入来自 Logstash 的日志。如下图所示,这人途径更用于一并埋点 syslog 和 Logstash 的场景,即在使用 rsyslog 等代理埋点 syslog 的一并,接入 Logstash 埋点的日志。

简单地解释一下:

对于这人现象,我们歌词 歌词 希望未来我不要 还都后能 通过以下几方面的土最好的办法进行处里:

当控制台的配置完成后,日志服务会将配置文件埋点到所配置机器组的所有节点,并要求 Logtail 根据这人配置进行具体情况更新。关于配置有无已埋点,能不还都后能 通过查看 Logtail 的配置文件进行选折 :

简单地解释一下:

配置中的 host、port 和 protocol 指定了连接 Logtail syslog 插件所启动的服务器所需用的信息,rfc 用于指定 syslog 所使用的协议版本,目前支持 RFC3164 和 RFC5424 有有五个 协议。

如图所示,通过有有五个 插件,我们歌词 歌词 能不还都后能 将 Logstash 的输出经过 lumberjack (v1) 或 syslog 协议埋点给 Logtail,随后由 Logtail 发送到日志服务后端的 LogHub。此后,用户就能不还都后能 使用日志服务的所有功能,包括对日志的分析、查询、告警、数据投递等。

本节将对使用 lumberjack 和 syslog 插件对接 Logstash 的细节进行删剪介绍,并对过程中随后遇到的有些常见现象和处里土最好的办法进行说明。在介绍过程中,我们歌词 歌词 假设 Logstash 和 Logtail 运行于同一节点,随后出于简单,我们歌词 歌词 只给出必要的配置。

本文将以 syslog 和 lumberjack 有有五个 插件的使用作为示例,介绍在实战中怎么后能 进行 Logstash 与日志服务的对接。

安装完成后,进行如下配置(这里我们歌词 歌词 同样只给出必要参数):

当完成了这人配置后,我们歌词 歌词 能不还都后能 重启 Logstash 来使它的配置生效,此后,Logstash 所埋点到的日志就会埋点到 Logtail 进而发送到日志服务,我们歌词 歌词 就能不还都后能 在查询分析控制台(点击 Logstore 列表页面上的查询即可进入)对得到的日志进行操作了。

为了我不要 还都后能 实现和 Beats 系列以及 Logstash 的对接,我们歌词 歌词 为 Logtail 实现了 lumberjack 插件,该插件使得 Logtail 具备和 lumberjack 客户端通信并接收数据的能力,随后,它能不还都后能 实现 Logstash 以及 Beats 系列和日志服务的对接。更多关于此插件的信息,能不还都后能 查看我们歌词 歌词 的文档。

能不还都后能 看得人,通过 Logtail 插件来实现例如的接入过程会非常便捷,但目前依旧地处着有些限制和改进的空间:

这里我们歌词 歌词 简单地讲一下后后提过的自签名证书的创建,在 Linux 下能不还都后能 通过 openssl 进行创建,命令如下:

Logstash 的 lumberjack 输出插件我不要 还都后能 将 Logstash 埋点到的日志通过 lumberjack 协议发送给指定的服务端。该插件是 Logstash 安装时携带的默认插件,不需用独立的安装。为了使用该插件,我们歌词 歌词 需用对 Logstash 的配置文件进行修改(出于简单,我们歌词 歌词 只给出必要的配置):

Lumberjack 协议是由 Elastic 公司在实现 Logstash-forwarder 时所设计的 forwarder 与 Logstash 之间的通信协议,随后随着 Beats 系列的推出,forwarder 逐渐被弃用,但这人协议依旧得到了保留,事实上,Beats 和 Logstash 之间的通信依旧使用此协议。

能不还都后能 看得人,Logstash 将日志以 JSON 格式打包到了 line 这人字段中,Logtail 直接将这人字段及对应的值发送给了日志服务后端。为了进行分析,我们歌词 歌词 一般需用对日志的字段进行提取,随后建立索引和统计,这人点能不还都后能 通过日志服务实现,这里我们歌词 歌词 简要介绍一下:

配置中的 Address、ParseProtocol 和 Logstash 中的配置相对应。当配置被埋点到 Logtail 后,插件的功能即可生效。

在本文中,我们歌词 歌词 通过简单地示例说明了怎么后能 通过 Logtail 的 lumberjack 和 syslog 插件,实现日志服务对 Logstash 的接入,并给出了删剪的配置过程以及随后会遇到的现象及其处里土最好的办法。

第一步的过程是创建有有五个 证书申请,会产生有有五个 文件,有有五个 是申请证书的请求文件,那我是这人证书中公钥对应的加密私钥,分别为 cert.csr 和 privkey.pem。这人步会需用输入有些信息,得注意以下两点:

例如地,我们歌词 歌词 不还都后能 不还都后能 对其中的字段建立索引来辅助统计查询,比如对 _program_ 字段建立索引查看有这人源会发送 syslog,对 _priority_ 建立索引以在查询中筛选优先级更高的日志等。

例如后后对 lumberjack 插件的配置过程,我们歌词 歌词 同样在控制台向 Logtail 配置 syslog 插件,区别仅在于第 4 步所输入的配置文件内容(Address 和 ParseProtocol 分别对应于 Logstash 端的配置):

阿里云的日志服务(Log Service)是针对日志类数据的一站式服务,2013 年研发,至今已有 5 年多线上运行经验,经历双十一、新春红包等考验。其中,Logtail 作为日志服务的埋点 Agent,目前已运行在 80W+ 机器上,为万级别应用提供服务。在经历了集团百万服务器、上万应用的锤炼后,Logtail 在性能、稳定性、运维代价上相对于开源 Agent 更为性旺盛期是什么的句子的句子是什么是什么期期且具有更高的性价比。

同样,我们歌词 歌词 重启 Logstash 使用我们歌词 歌词 的新配置,随后构造有些日志,随后即可在日志服务的控制台查看得人这人日志,如下图所示,其中的 _program_: LOGSTASH 说明它们来自于 Logstash。

除了直接登录节点修改配置文件的土最好的办法外,日志服务支持在控制台进行埋点配置,在配置完成后,日志服务会自动地将相应的配置文件埋点给 Logtail,免去用户访问节点的麻烦。此处我们歌词 歌词 简要介绍怎么后能 在控制台配置 Logtail 的 lumberjack 插件:

但我们歌词 歌词 也需用承认,相对主流的埋点 Agent(如 Logstash、Beats 系列、Fluentd 等),Logtail 在埋点功能上有一定的不足,对于输入源、日志的处里土最好的办法的支持不足丰富。为了我不要 还都后能 更好地实现与开源生态的融合以及弥补这人不足,我们歌词 歌词 对 Logtail 进行了增强,为其引入了插件系统,目前已通过插件支持了若干输入源,包括 HTTP、MySQL Query、MySQL Binlog 等。