优化数据摄取
Elastic Stack
本节介绍如何根据您的需求调整数据摄取。
如果 APM Server 无法足够快地处理数据,您将会看到请求超时。解决此问题的一种方法是提高处理能力。
通过迁移到更强大的机器或添加更多 APM Server/Elastic Agent 实例来提高处理能力。拥有多个实例还将提高可用性。
大型有效负载可能会导致请求超时。您可以通过减少代理中的刷新间隔来减少有效负载大小。 这将导致代理发送更小和更频繁的请求。
请阅读代理文档以了解更多信息。
代理使用长时间运行的请求,并在单个请求中尽可能多地刷新事件。因此,匿名身份验证的速率限制绑定到每个 IP 每秒发送的事件数。
如果在发送已建立请求上的事件时达到事件速率限制,则请求不会立即终止。 事件的摄取仅限制为匿名事件速率限制,这意味着事件被排队并处理得更慢。 只有当允许的缓冲区队列也已满时,请求才会以429 - rate limit exceeded
HTTP 响应终止。 如果代理尝试建立新请求,但已达到速率限制,则会立即发送 429
。
增加以下配置变量的默认值将有助于避免 rate limit exceeded
错误
APM Server 二进制文件 | rate_limit.event_limit |
Fleet 管理 | 匿名事件速率限制(事件限制) |
Elasticsearch 参考提供了有关优化 Elasticsearch 的见解。
针对索引速度进行优化提供了有关以下方面的信息
- 刷新间隔
- 禁用交换
- 优化文件系统缓存
- 关于更快硬件的考虑因素
- 设置索引缓冲区大小
针对磁盘使用量进行优化提供了有关以下方面的信息
- 禁用不需要的功能
- 分片大小
- 收缩索引