1. 架构与目标：Logstash 在 Java 日志场景中的定位
1.1 适配常见的 Java 日志格式
核心要点：Java 应用的日志通常来自 Log4j2、Logback 或者简单的文本日志，格式可能是结构化的 JSON，也可能是自由文本。明确格式有助于 Logstash 进行高效解析、字段提取与后续聚合。
在实际场景中，日志格式多样，包括时间戳、日志级别、类名、线程、消息等字段。为“Java 日志配置详解与实战”的完整方案设计，需将这些字段统一映射到 ES 索引字段中，便于 Kibana 的可视化分析。
下述代码示例展示了将本地 Java 应用日志送入 Logstash 的输入端配置，作为落地实现的一部分：
input {file {path => "/var/log/java-app/*.log"start_position => "beginning"sincedb_path => "/var/log/logstash/sincedb"}
}
1.2 流水线模式与数据流设计
数据流向遵循 input -> filter -> output 的三段式流水线设计，确保日志在经过解析、字段提取与转换后进入目标系统。
在设计阶段，需要对字段结构、时间语义、以及输出目标进行清晰划分，以便在后续的 Grok 与日期过滤阶段实现稳定落地。
下面给出一个简化的流水线全量配置样例，帮助理解从输入到输出的完整路径：
input {file {path => "/var/log/java-app/*.log"start_position => "beginning"sincedb_path => "/var/log/logstash/sincedb"}
}
filter {grok {match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{JAVALINE:class} - %{GREEDYDATA:msg}" }}date {match => ["timestamp", "ISO8601"]timezone => "Asia/Shanghai"target => "@timestamp"}
}
output {elasticsearch {hosts => ["http://localhost:9200"]index => "java-logs-%{+YYYY.MM.dd}"}
}
2. 核心解析：Grok、日期与字段提取
2.1 Grok 模式的设计与自定义
Grok 是 Logstash 中用于从文本中提取结构化字段的强大工具，内置的模式库覆盖了大量常见日志场景，但 Java 日志往往需要自定义模式来精准定位字段。
字段设计包括时间戳、日志等级、类名、线程、消息等。通过自定义 Grok 模式，可以确保每条日志都拥有可检索的关键字段，以支持后续分析与告警。
示例 Grok 模式，演示如何从 Java 日志文本中提取常用字段并触发后续日期对齐：
filter {grok {match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{JAVALINE:class} - %{GREEDYDATA:msg}" }}mutate { remove_field => ["message"] }
}
2.2 日期解析与时区对齐
日期解析是将日志中的时间戳映射到 Elasticsearch 的时序字段的关键步骤，确保跨组件与跨区域的时间一致性。
通过 date 过滤器，可以支持多种时间格式，并可设置时区以避免跨时区的错位，最终将解析后的时间写入 @timestamp 字段，便于时序分析。
以下示例展示了将提取出的 timestamp 字段按 ISO8601 解析并应用 Asia/Shanghai 时区：
filter {date {match => ["timestamp", "ISO8601"]timezone => "Asia/Shanghai"target => "@timestamp"}
}
3. 实战落地：从入门到落地的完整方案
3.1 部署与运行环境
部署环境通常是 Linux 主机 + Elasticsearch + Kibana 的 ELK/EFK 组合，辅以 Redis 等缓存或队列组件以提升吞吐与稳定性。
在生产场景中，确保 Logstash 以服务方式运行，并对日志目录、权限、轮转策略以及 sincedb 路径进行严格管理，以实现稳定的落地运行。
下面给出一个系统级服务的示例，帮助你把 Logstash 变成可管理的生产组件：
# systemd 服务样例
[Unit]
Description=Logstash Log Collector
After=network-online.target[Service]
Type=simple
User=logstash
Group=logstash
ExecStart=/usr/share/logstash/bin/logstash -f /etc/logstash/pipeline.conf
Restart=on-failure[Install]
WantedBy=multi-user.target
3.2 性能优化与监控
性能优化要点包括合理配置 pipeline.workers、pipeline.batch.size、以及队列类型与容量，以实现吞吐与延迟之间的平衡。
通过监控日志吞吐、延迟、错误率等指标，可以实时评估系统健康状态，并据此进行容量规划与告警设定。该部分构成了一个从入门到落地的完整方案中的关键环节。
以下配置示例展示了常见的优化项，结合持久化队列以提升稳态表现：
# logstash.yml 示例
pipeline.workers: 4
pipeline.batch.size: 125
queue.type: persisted
queue.max_bytes: 1024mb
queue.max_events: 10000
