网站首页 > 厂商资讯 > 云杉 >

SkyWalking与ELK联动：打造一体化日志分析平台

随着现代企业对业务系统稳定性和性能要求的不断提高，日志分析成为了一种重要的监控手段。SkyWalking 和 ELK（Elasticsearch、Logstash、Kibana）是当前流行的开源日志分析工具，它们各自在日志收集、存储和可视化方面具有独特的优势。本文将探讨如何将 SkyWalking 与 ELK 联动，打造一体化日志分析平台，帮助企业实现高效、全面的日志监控。

一、SkyWalking 与 ELK 的优势

SkyWalking

SkyWalking 是一款开源的分布式追踪系统，用于监控分布式系统的性能、错误和资源消耗。其主要优势如下：

（1）支持多种语言和框架：SkyWalking 支持Java、C#、Python、Go、PHP等多种编程语言，以及Spring Cloud、Dubbo、Dubbo Spring Cloud、Tars、Service Mesh 等主流框架。

（2）全链路追踪：SkyWalking 可以追踪整个分布式系统的请求路径，包括数据库、缓存、消息队列等组件。

（3）可视化界面：SkyWalking 提供了丰富的可视化界面，可以直观地展示系统的性能指标、错误信息等。

ELK 是由 Elasticsearch、Logstash 和 Kibana 三款开源工具组成的日志分析平台。其主要优势如下：

（1）高性能：Elasticsearch 是一款高性能的搜索引擎，可以快速地对海量数据进行检索和分析。

（2）可扩展性：Elasticsearch、Logstash 和 Kibana 都具有很好的可扩展性，可以根据实际需求进行横向和纵向扩展。

（3）可视化：Kibana 提供了丰富的可视化功能，可以直观地展示日志数据。

二、SkyWalking 与 ELK 联动的优势

实时监控：通过 SkyWalking 收集的分布式系统日志，可以实时传输到 ELK 平台进行存储和分析，从而实现对系统性能和错误的实时监控。
全链路追踪：SkyWalking 支持全链路追踪，可以结合 ELK 的可视化功能，直观地展示分布式系统的请求路径和性能指标。
数据关联分析：SkyWalking 收集的日志数据可以与 ELK 平台中的其他日志数据进行关联分析，例如，将数据库操作日志与业务日志进行关联，从而更全面地了解系统运行状况。
丰富的可视化：结合 SkyWalking 和 ELK 的可视化功能，可以实现对日志数据的全方位展示，便于用户进行问题排查和性能优化。

三、实现 SkyWalking 与 ELK 联动

部署 SkyWalking

首先，在服务器上部署 SkyWalking。可以选择使用 SkyWalking OAP（Observability Analysis Platform）或 SkyWalking APM（Application Performance Management）。

配置 SkyWalking

在 SkyWalking 中配置日志采集规则，将相关组件的日志数据发送到 ELK 平台。具体操作如下：

（1）进入 SkyWalking 的配置文件路径，例如：/opt/skywalking/apache-skywalking-apm-8.0.0/bin/config

（2）编辑 skywalking-agent.yaml 文件，添加以下配置：

logging:

  file:

    path: /opt/skywalking/logs

    max-history: 7

    max-size: 128MB

    max-backups: 3



output:

  elasticsearch:

    enabled: true

    hosts: ["http://localhost:9200"]

    index-template: "/opt/skywalking/apache-skywalking-apm-8.0.0/config/skywalking-index-template.json"

（3）重启 SkyWalking 服务。

部署 ELK

在服务器上部署 Elasticsearch、Logstash 和 Kibana。可以选择使用 Docker、Docker Compose 或其他方式进行部署。

配置 Logstash

在 Logstash 中配置日志输入、过滤和输出规则，将 SkyWalking 收集的日志数据传输到 Elasticsearch。具体操作如下：

（1）进入 Logstash 配置文件路径，例如：/opt/logstash/logstash-7.10.0/config

（2）编辑 logstash.conf 文件，添加以下配置：

input {

  jdbc {

    jdbc_driver_library => "/opt/logstash/logstash-7.10.0/lib/skywalking-jdbc-8.0.0.jar"

    jdbc_driver_class => "org.apache.skywalking.apm.logging.json.v1.JsonDBDriver"

    jdbc_connection_string => "jdbc:mysql://localhost:3306/skywalking"

    jdbc_user => "root"

    jdbc_password => "password"

    schedule => "*/5 * * * *"

    statement => "SELECT * FROM trace"

  }

}



filter {

  json {

    source => "message"

  }

}



output {

  elasticsearch {

    hosts => ["http://localhost:9200"]

    index => "skywalking-%{+YYYY.MM.dd}"

  }

}

（3）重启 Logstash 服务。

配置 Kibana

在 Kibana 中配置索引模式，以便于查询和分析 SkyWalking 收集的日志数据。

四、总结

通过将 SkyWalking 与 ELK 联动，企业可以打造一个一体化日志分析平台，实现对分布式系统的实时监控、全链路追踪和数据分析。本文详细介绍了 SkyWalking 和 ELK 的优势、联动优势以及实现步骤，希望对读者有所帮助。