Elastic Stack 功能
从企业级安全性和对开发者友好的 API 到机器学习和图形分析,Elastic Stack 配备了各种功能(以前以 X-Pack 打包),可帮助您大规模摄取、存储、分析、搜索和可视化所有类型的数据。
探索和可视化
管理和运营
管理和运营
可扩展性和弹性
Elasticsearch 在分布式环境中运行,该环境从头开始设计,旨在实现永久的安心。我们的集群会随着您的需求而增长 — 只需添加另一个节点即可。
集群和高可用性
集群是一个或多个节点的集合(服务器),它们共同保存您的所有数据,并在所有节点上提供联合索引和搜索功能。Elasticsearch 集群具有主分片和副本分片,以便在节点发生故障时提供故障转移。当主分片发生故障时,副本将接替其位置。
了解有关集群和高可用性的信息水平可扩展性
随着您的使用量增加,Elasticsearch 会随您扩展。添加更多数据,添加更多用例,当您开始耗尽资源时,只需向您的集群添加另一个节点即可增加其容量和可靠性。当您向集群添加更多节点时,它会自动分配副本分片,以便您为未来做好准备。
了解有关水平扩展的信息机架感知
您可以使用自定义节点属性作为感知属性,使 Elasticsearch 在分配分片时考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点在同一物理服务器、同一机架或同一区域中,它可以分发主分片及其副本分片,以最大程度地减少在发生故障时丢失所有分片副本的风险。
了解有关分配感知的信息灾难恢复:如果主集群发生故障,则辅助集群可以用作热备份。
地理位置邻近性:读取可以在本地提供,从而减少网络延迟。
跨数据中心复制
跨数据中心复制一直是 Elasticsearch 上关键任务应用程序的要求,以前通过其他技术部分解决。通过 Elasticsearch 中的跨集群复制,无需其他技术即可跨数据中心、地理位置或 Elasticsearch 集群复制数据。
阅读有关跨数据中心复制的信息管理和运营
监控
Elastic Stack 的监控功能让您了解 Elastic Stack 的运行情况。密切关注它的性能,以确保您充分利用它。
全栈监控
Elastic Stack 的监控功能让您深入了解 Elasticsearch、Logstash 和 Kibana 的运行情况。所有监控指标都存储在 Elasticsearch 中,这使您能够轻松地可视化 Kibana 中的数据。
了解有关监控 Elastic Stack 的信息堆栈问题自动警报
借助 Elastic Stack 警报功能,您可以使用警报功能自动收到集群中更改的通知 — 集群状态、许可证过期以及 Elasticsearch、Kibana 和 Logstash 中的其他指标。
了解有关自动堆栈警报的信息管理和运营
管理
Elastic Stack 附带各种管理工具、UI 和 API,可让您完全控制数据、用户、集群操作等。
索引生命周期管理
索引生命周期管理 (ILM) 允许用户定义和自动化策略,以控制索引应在四个阶段中的每个阶段中存在多长时间,以及在每个阶段对索引执行的操作集。这可以更好地控制运营成本,因为可以将数据放置在不同的资源层中。
了解有关 ILM 的信息热:正在积极更新和查询
温:不再更新,但仍在查询
冷/冻结:不再更新,很少查询(可以搜索,但速度较慢)
删除:不再需要
数据层
数据层是通过节点角色属性将数据划分为热节点、温节点和冷节点的正式方法,该属性会自动定义您的节点的索引生命周期管理策略。通过分配热、温和冷节点角色,您可以大大简化和自动化将数据从更高成本、更高性能的存储移动到更低成本、更低性能的存储的过程,而不会影响洞察力。
了解有关数据层的信息- 热:在性能最高的实例上积极更新和查询
温:在性能较低的实例上查询较少的数据
冷:只读,很少查询,在不降低性能的情况下显著减少存储,由可搜索快照提供支持
快照和还原
快照是从正在运行的 Elasticsearch 集群中进行的备份。您可以拍摄单个索引或整个集群的快照,并将快照存储在共享文件系统上的存储库中。还有可用的插件支持远程存储库。
了解有关快照和还原的信息可搜索的快照
可搜索快照使您能够直接查询快照,而无需花费典型快照还原所需的时间。这是通过仅读取每个快照索引的必要部分来完成请求来实现的。与冷层一起,可搜索快照可以通过在基于对象的存储系统(例如 Amazon S3、Azure Storage 或 Google Cloud Storage)中备份副本分片,同时仍为其提供完全的搜索访问权限,从而显著降低您的数据存储成本。
了解有关可搜索快照的信息快照生命周期管理
作为后台快照管理器,快照生命周期管理 (SLM) API 允许管理员定义拍摄 Elasticsearch 集群快照的频率。通过专用的 UI,SLM 使用户能够配置 SLM 策略的保留期,并自动创建、计划和删除快照 — 确保足够频繁地对给定集群进行适当的备份,以便能够根据客户 SLA 进行还原。
了解有关 SLM 的信息基于快照的对等恢复
此功能允许 Elasticsearch 在数据可用时从最近的快照中恢复副本并重新定位主分片,从而降低在节点到节点数据传输成本高于从快照恢复数据成本的环境中运行的集群的运营成本。
了解有关基于快照的对等恢复的信息数据汇总
保留历史数据以进行分析非常有用,但由于存档大量数据的财务成本,通常会避免这样做。因此,保留期由财务现实而不是广泛历史数据的有用性驱动。汇总功能提供了一种汇总和存储历史数据的方法,以便仍可将其用于分析,但存储成本仅为原始数据的一小部分。
了解有关汇总的信息升级助手 UI
升级助手 UI 可帮助您准备将升级到最新版本的 Elastic Stack。在 UI 中,助手会识别您的集群和索引中已弃用的设置,指导您完成解决问题的过程(包括重新索引)。
了解有关升级助手的信息升级助手 API
升级助手 API 允许您检查 Elasticsearch 集群的升级状态,并重新索引在以前的主要版本中创建的索引。助手可帮助您为下一个主要版本的 Elasticsearch 做准备。
了解有关升级助手 API 的信息转换
转换是二维表格数据结构,使索引数据更易于理解。转换执行聚合,将您的数据透视到新的以实体为中心的索引中。通过转换和汇总您的数据,可以以其他方式可视化和分析它,包括作为其他机器学习分析的来源。
了解有关转换的信息管理和运营
警报
Elastic Stack 的警报功能使您能够充分利用 Elasticsearch 查询语言来识别您感兴趣的数据中的更改。换句话说,如果您可以在 Elasticsearch 中查询某些内容,则可以对其发出警报。
高度可用、可扩展的警报
大型和小型组织都信任 Elastic Stack 来处理他们的警报需求是有原因的。通过可靠且安全地从任何来源、以任何格式摄取数据,分析师可以实时搜索、分析和可视化关键数据 — 所有这些都具有自定义的、可靠的警报。
了解有关警报的信息通过电子邮件、Webhooks、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、Slack、xMatters 发送通知
将警报与电子邮件、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、xMatters 和 Slack 的内置集成链接起来。通过 Webhook 输出与任何其他第三方系统集成。
了解告警通知选项用于 Discover 的搜索阈值警报
Discover 中的搜索阈值规则基于 Elasticsearch 查询 - 它在给定的时间间隔内分析文档,以检查是否达到具有指定条件的文档的阈值,然后触发告警。用户可以创建并分配操作,以便在需要时触发通知或自动创建事件。
了解 Discover 的搜索阈值告警管理和运营
堆栈安全
Elastic Stack 的安全功能为合适的人员提供合适的访问权限。IT、运营和应用程序团队依靠这些功能来管理善意的用户并阻止恶意行为者,而高管和客户可以安心地知道存储在 Elastic Stack 中的数据是安全可靠的。
安全设置
某些设置是敏感的,仅依靠文件系统权限来保护其值是不够的。对于这种情况,Elastic Stack 组件提供密钥库以防止对敏感集群设置进行不必要的访问。Elasticsearch 和 Logstash 密钥库可以选择使用密码保护以增强安全性。
了解有关安全设置的更多信息静态加密支持
虽然 Elastic Stack 没有开箱即用地实现静态加密,但建议在所有主机上配置磁盘级加密。此外,快照目标还必须确保数据在静态时进行加密。
基于属性的访问控制 (ABAC)
Elastic Stack 的安全功能还提供基于属性的访问控制 (ABAC) 机制,使您可以使用属性来限制对搜索查询和聚合中文档的访问。这使您可以在角色定义中实施访问策略,以便用户只有在具有所有必需的属性时才能读取特定文档。
了解有关 ABAC 的信息字段和文档级安全性
字段级安全性限制用户对字段的读取访问权限。特别是,它限制了可以从基于文档的读取 API 访问哪些字段。
了解有关字段级安全性的信息文档级安全性限制用户对文档的读取访问权限。特别是,它限制了可以从基于文档的读取 API 访问哪些文档。
了解有关文档级安全性的信息IP 过滤
您可以将 IP 过滤应用于应用程序客户端、节点客户端或传输客户端,以及尝试加入集群的其他节点。如果节点的 IP 地址在黑名单上,则 Elasticsearch 安全功能允许连接到 Elasticsearch,但会立即断开连接,并且不会处理任何请求。
IP 地址或范围
xpack.security.transport.filter.allow: "192.168.0.1" xpack.security.transport.filter.deny: "192.168.0.0/24"
白名单
xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ] xpack.security.transport.filter.deny: _all
IPv6
xpack.security.transport.filter.allow: "2001:0db8:1234::/48" xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"
主机名
xpack.security.transport.filter.allow: localhost xpack.security.transport.filter.deny: '*.google.com'了解有关 IP 过滤的信息
安全域
Elastic Stack 的安全功能通过使用领域和一个或多个基于令牌的身份验证服务来对用户进行身份验证。领域用于根据身份验证令牌解析和验证用户。安全功能提供了许多内置领域。
了解有关安全领域的信息单点登录 (SSO)
Elastic Stack 支持通过 SAML 单点登录 (SSO) 到 Kibana,使用 Elasticsearch 作为后端服务。SAML 身份验证允许用户使用外部身份提供程序(例如 Okta 或 Auth0)登录 Kibana。
了解有关 SSO 的信息FIPS 140-2 模式
Elasticsearch 提供符合 FIPS 140-2 标准的模式,该模式可以在启用的 JVM 中运行。FIPs 批准/NIST 推荐的加密算法确保了对处理标准的遵守。
了解有关 FIPS 140-2 合规性的信息标准 (GDPR)
您的数据很可能被 GDPR 指南分类为个人数据。了解如何使用 Elastic Stack 的功能(从基于角色的访问控制到数据加密)来使您的 Elasticsearch 数据符合 GDPR 的安全和处理要求。
阅读 GDPR 白皮书管理和运营
部署
公共云、私有云或介于两者之间 - 我们使您能够轻松运行和管理 Elastic Stack。
下载并安装
入门非常简单。只需下载并安装 Elasticsearch 和 Kibana 作为存档文件或使用软件包管理器即可。您将立即开始索引、分析和可视化数据。使用默认发行版,您还可以通过 30 天的免费试用版测试 Platinum 功能,例如机器学习、安全性、图形分析等。
下载 Elastic StackElastic Cloud
Elastic Cloud 是我们不断增长的 SaaS 产品系列,可让您轻松地在云中部署、操作和扩展 Elastic 产品和解决方案。从易于使用的托管和管理 Elasticsearch 体验到强大的开箱即用搜索解决方案,Elastic Cloud 是您无缝地将 Elastic 应用于工作的跳板。免费试用我们的任何 Elastic Cloud 产品 14 天,无需信用卡。
开始使用 Elastic Cloud开始免费试用 Elasticsearch Service
Elastic Cloud Enterprise
借助 Elastic Cloud Enterprise (ECE),您可以在任何规模、任何基础设施上配置、管理和监控 Elasticsearch 和 Kibana,同时从单个控制台管理所有内容。选择运行 Elasticsearch 和 Kibana 的位置:物理硬件、虚拟环境、私有云、公共云中的私有区域或只是普通的公共云(例如,Google、Azure、AWS)。我们已经涵盖了所有这些。
免费试用 ECE 30 天Elastic Cloud on Kubernetes
基于 Kubernetes Operator 模式构建,Elastic Cloud on Kubernetes (ECK) 扩展了基本的 Kubernetes 编排功能,以支持在 Kubernetes 上设置和管理 Elasticsearch 和 Kibana。借助 Elastic Cloud on Kubernetes,可以简化在 Kubernetes 中运行 Elasticsearch 的部署、升级、快照、扩展、高可用性、安全性等过程。
使用 Elastic Cloud on Kubernetes 进行部署管理和运营
客户端
Elastic Stack 允许您以最舒适的方式处理数据。凭借其 RESTful API、语言客户端、强大的 DSL 等(甚至 SQL),我们很灵活,因此您不会被卡住。
检查您的集群、节点和索引的运行状况、状态和统计信息。
管理您的集群、节点和索引数据以及元数据。
对您的索引执行 CRUD(创建、读取、更新和删除)和搜索操作。
执行高级搜索操作,例如分页、排序、筛选、脚本编写、聚合等。
语言客户端
Elasticsearch 使用标准的 RESTful API 和 JSON。我们还构建和维护多种语言的客户端,例如 Java、Python、.NET、SQL 和 PHP。此外,我们的社区贡献了更多。它们易于使用,感觉自然,并且与 Elasticsearch 一样,不限制您想要使用它们执行的操作。
浏览可用的语言客户端Elasticsearch DSL
Elasticsearch 提供基于 JSON 的完整查询 DSL(域特定语言)来定义查询。查询 DSL 为全文搜索提供强大的搜索选项,包括词条和短语匹配、模糊匹配、通配符、正则表达式、嵌套查询、地理查询等。
了解有关 Elasticsearch DSL 的信息GET /_search { "query": { "match" : { "message" : { "query" : "this is a test", "operator" : "and" } } } }
Elasticsearch SQL
Elasticsearch SQL 是一项功能,允许对 Elasticsearch 实时执行类似 SQL 的查询。无论是使用 REST 接口、命令行还是 JDBC,任何客户端都可以使用 SQL 在 Elasticsearch 内部本地搜索和聚合数据。
了解有关 Elasticsearch SQL 的信息JDBC 客户端
Elasticsearch SQL JDBC 驱动程序是适用于 Elasticsearch 的功能丰富的全功能 JDBC 驱动程序。它是 4 型驱动程序,这意味着它是一个独立于平台、独立的、直接到数据库的纯 Java 驱动程序,它将 JDBC 调用转换为 Elasticsearch SQL。
了解有关 JDBC 客户端的信息ODBC 客户端
Elasticsearch SQL ODBC 驱动程序是适用于 Elasticsearch 的功能丰富的 3.80 ODBC 驱动程序。它是一个核心级驱动程序,公开了可通过 Elasticsearch SQL ODBC API 访问的所有功能,将 ODBC 调用转换为 Elasticsearch SQL。
了解有关 ODBC 客户端的信息用于 Elasticsearch 的 Tableau 连接器
适用于 Elasticsearch 的 Tableau 连接器使 Tableau Desktop 和 Tableau Server 用户可以轻松访问 Elasticsearch 中的数据。
下载 Tableau 连接器摄取和丰富
摄取和丰富
数据源
无论您拥有什么类型的数据,Beats 都非常适合收集数据。它们位于您的服务器上,与您的容器一起,或作为函数部署 - 然后将数据集中在 Elasticsearch 中。如果您需要更多的处理能力,Beats 还可以发送到 Logstash 进行转换和解析。
操作系统
收集您的 Linux 审核框架数据并监视文件的完整性。Auditbeat 将这些事件实时发送到 Elastic Stack 的其余部分以进行进一步分析。
密切关注基于 Windows 的基础设施中发生的情况。Winlogbeat 以轻量级的方式将 Windows 事件日志实时流式传输到 Elasticsearch 和 Logstash。
阅读有关 Winlogbeat 的信息Web 服务器和代理
Filebeat 和 Metricbeat 提供了多种方法来监视您的 Web 服务器和代理服务器,包括适用于 NGINX、Apache、HAProxy、IIS 等的模块和预配置的仪表板。
数据存储和队列
Filebeat 和 Metricbeat 包括内部模块,可简化从数据存储、数据库和队列系统(如 MySQL、MongoDB、PostgreSQL、Microsoft SQL 等)中收集、解析和可视化常见日志格式和系统指标的过程。
云服务
通过单一的管理界面,追踪来自 Amazon Web Services、Google Cloud 和 Microsoft Azure 等广泛云服务的性能和可用性,从而大规模地进行高效分析。此外,Functionbeat 在观察您的无服务器云架构时也提供了简洁性,包括 Kinesis、SQS 和 CloudWatch 日志。
Metricbeat 和 Filebeat 中的自动发现功能可让您及时了解环境中的变化。
使用 Docker 和 Kubernetes API 钩子,自动添加模块和日志路径,并动态调整您的监控设置。
安全数据
检测威胁的关键可能来自任何地方。因此,实时了解您环境中发生的情况至关重要。代理和 Beats 摄取各种商业和开源的安全数据源,从而实现大规模的监控和检测。
文件导入
使用文件数据可视化工具,您可以将 CSV、NDJSON 或日志文件上传到 Elasticsearch 索引。文件数据可视化工具使用文件结构 API 来识别文件格式和字段映射,之后您可以选择将数据导入索引。
摄取和丰富
数据丰富
借助各种分析器、分词器、过滤器和索引时富化选项,Elastic Stack 可将原始数据转化为有价值的信息。
处理器
在实际文档索引发生之前,使用摄取节点预处理文档。摄取节点会拦截批量和索引请求,应用转换,然后将文档传递回索引或批量 API。摄取节点提供 25 种以上不同的处理器,包括 append、convert、date、dissect、drop、fail、grok、join、remove、set、split、sort、trim 等。
Grok
grok 模式类似于支持可重用别名表达式的正则表达式。使用 grok 从文档中的单个文本字段中提取结构化字段。此工具非常适合 syslog 日志、Apache 等 Web 服务器日志、MySQL 日志以及通常为人类而非计算机消费而编写的任何日志格式。
字段转换
如果您使用数据源,则可以在分析数据之前添加脚本来转换数据。数据源包含一个可选的 script_fields 属性,您可以在其中指定评估自定义表达式并返回脚本字段的脚本。使用此功能,您可以执行各种转换。
添加数值字段
连接、修剪和转换字符串
标记替换
正则表达式匹配和连接
按域名拆分字符串
转换 geo_point 数据
外部查找
使用 Logstash 外部查找插件在摄取时丰富您的日志数据。通过客户端 IP 位置、DNS 查找结果甚至来自相邻日志行的数据等信息,轻松补充日志行并为其提供更多上下文。Logstash 有各种查找插件可供选择。
匹配丰富处理器
匹配摄取处理器允许用户在摄取时查找数据,并指示从中提取丰富数据的索引。这有助于需要向其数据添加一些元素的 Beats 用户,用户可以直接咨询摄取管道,而不是从 Beats 转到 Logstash。用户还可以使用处理器对数据进行标准化,以获得更好的分析和更常见的查询。
地理匹配丰富处理器
地理匹配丰富处理器是一种实用有效的方法,允许用户通过利用其地理数据来提高其搜索和聚合能力,而无需在地理坐标术语中定义查询或聚合。与匹配丰富处理器类似,用户可以在摄取时查找数据,并找到从中提取丰富数据的最佳索引。
摄取和丰富
模块和集成
客户端和 API
Elasticsearch 使用标准的 RESTful API 和 JSON。我们还构建和维护多种语言的客户端,例如 Java、Python、.NET、SQL 和 PHP。此外,我们的社区贡献了更多。它们易于使用,感觉自然,并且与 Elasticsearch 一样,不限制您想要使用它们执行的操作。
摄取节点
Elasticsearch 提供各种节点类型,其中一种专门用于摄取数据。摄取节点可以执行由一个或多个摄取处理器组成的预处理管道。根据摄取处理器执行的操作类型和所需的资源,拥有仅执行此特定任务的专用摄取节点可能是有意义的。
Elastic Agent
Elastic Agent 是一个单一、统一的代理,您可以将其部署到主机或容器以收集数据并将其发送到 Elastic Stack。您可以使用它为每个主机添加日志、指标和其他类型数据的监控。您的 Elastic Agent 控制的主机可以使用 Endpoint Security 集成来提供保护,方法是监控您的主机是否存在与安全相关的事件,从而可以通过 Kibana 中的 Elastic Security 应用程序调查安全数据。
Beats
Beats 是开源的数据发送器,您可以将其作为代理安装在服务器上,以将操作数据发送到 Elasticsearch 或 Logstash。Elastic 提供了 Beats 用于捕获各种常见的日志、指标和其他各种数据类型。
Auditbeat 用于 Linux 审计日志
Filebeat 用于日志文件
Functionbeat 用于云数据
Heartbeat 用于可用性数据
Journalbeat 用于 systemd 日志
Metricbeat 用于基础设施指标
Packetbeat 用于网络流量
Winlogbeat 用于 Windows 事件日志
社区采集器
如果您有特定的用例需要解决,我们鼓励您创建一个社区 Beat。我们已经创建了一个简化该过程的基础设施。libbeat 库完全用 Go 编写,它提供了所有 Beats 用来将数据发送到 Elasticsearch、配置输入选项、实现日志记录等的 API。
借助 100 多个社区贡献的 Beats,有用于 Cloudwatch 日志和指标、GitHub 活动、Kafka 主题、MySQL、MongoDB Prometheus、Apache、Twitter 等的代理。
浏览可用的社区开发的 BeatsLogstash
Logstash 是一个开源数据收集引擎,具有实时管道功能。Logstash 可以动态地统一来自不同来源的数据,并将数据规范化为您选择的目标。清除并普及您的所有数据,以用于各种高级下游分析和可视化用例。
Logstash 插件
您可以向 Logstash 添加您自己的输入、编解码器、过滤器或输出插件。插件可以独立于 Logstash 核心进行开发和部署。您还可以编写您自己的 Java 插件以与 Logstash 一起使用。
Elasticsearch-Hadoop
用于 Apache Hadoop 的 Elasticsearch (Elasticsearch-Hadoop 或 ES-Hadoop) 是一个开源、独立、自包含的小型库,它允许 Hadoop 作业与 Elasticsearch 交互。使用它可以轻松构建动态的嵌入式搜索应用程序,为您的 Hadoop 数据提供服务,或使用全文、地理空间查询和聚合执行深入的低延迟分析。
插件和集成
作为一个开源、语言无关的应用程序,可以通过插件和集成轻松扩展 Elasticsearch 的功能。插件是一种以自定义方式增强 Elasticsearch 核心功能的方法,而集成是外部工具或模块,可以更轻松地使用 Elasticsearch。
API 扩展插件
告警插件
分析插件
发现插件
摄取插件
管理插件
映射器插件
安全插件
快照/还原存储库插件
存储插件
摄取和丰富
管理
从 Kibana 内的集中位置管理您的摄取方法。
Fleet
Fleet 在 Kibana 中提供一个基于 Web 的 UI,用于为流行的服务和平台添加和管理集成,以及管理 Elastic Agent 的集群。我们的集成提供了一种添加新数据源的简单方法,并且它们附带开箱即用的资产,如仪表板、可视化和管道,以从日志中提取结构化字段。
Logstash 集中式管道管理
从 Kibana 中的管道管理 UI 控制多个 Logstash 实例。在 Logstash 端,只需启用配置管理并注册 Logstash 即可使用集中管理的管道配置。
数据存储
数据存储
灵活性
Elastic Stack 是一个强大的解决方案,几乎可以用于任何用例。虽然它以其高级搜索功能而闻名,但其灵活的设计使其成为满足许多不同需求的理想工具,包括文档存储、时间序列分析和指标以及地理空间分析。
数据类型
Elasticsearch 支持文档中字段的多种不同数据类型,并且每种数据类型都提供其自己的多个子类型。这允许您以最有效的方式存储、分析和利用数据,而不管数据如何。Elasticsearch 针对以下一些数据类型进行了优化,其中包括
文本
形状
数字
向量
直方图
日期/时间序列
扁平化字段
地理点/地理形状
非结构化数据 (JSON)
结构化数据
全文搜索(倒排索引)
Elasticsearch 使用一种称为倒排索引的结构,该结构旨在允许非常快速的全文搜索。倒排索引包含出现在任何文档中的所有唯一单词的列表,以及每个单词出现的文档列表。要创建倒排索引,我们首先将每个文档的内容字段拆分为单独的单词(我们称之为术语或标记),创建所有唯一术语的排序列表,然后列出每个术语出现在哪个文档中。
文档存储(非结构化)
Elasticsearch 不需要数据具有结构才能被摄取或分析(尽管结构化会提高速度)。这种设计使得入门简单,同时也使 Elasticsearch 成为有效的文档存储。虽然 Elasticsearch 不是 NoSQL 数据库,但它仍然提供类似的功能。
时间序列/分析(列式存储)
倒排索引允许查询快速查找搜索词,但排序和聚合需要不同的数据访问模式。他们不是查找术语并查找文档,而是需要能够查找文档并查找该文档在字段中具有的术语。Doc values 是 Elasticsearch 中磁盘上的数据结构,在文档索引时构建,这使得这种数据访问模式成为可能,从而允许以列方式进行搜索。这让 Elasticsearch 在时间序列和指标分析方面表现出色。
数据存储
安全
Elasticsearch 支持多种方法来确保数据不会落入坏人之手。
静态数据加密支持
虽然 Elastic Stack 没有开箱即用地实现静态加密,但建议在所有主机上配置磁盘级加密。此外,快照目标还必须确保数据在静态时进行加密。
字段和文档级 API 安全
字段级安全性限制用户对字段的读取访问权限。特别是,它限制了可以从基于文档的读取 API 访问哪些字段。
文档级安全性限制用户对文档的读取访问权限。特别是,它限制了可以从基于文档的读取 API 访问哪些文档。
了解有关文档级安全性的信息数据存储
管理
Elasticsearch 使您能够完全管理您的集群及其节点、您的索引及其分片,最重要的是,管理其中包含的所有数据。
集群索引
集群是一个或多个节点的集合(服务器),它们共同保存您的所有数据,并在所有节点上提供联合索引和搜索功能。这种架构使得水平扩展变得简单。Elasticsearch 提供了一个全面且强大的 REST API 和 UI,您可以使用它们来管理您的集群。
数据快照和还原
快照是从正在运行的 Elasticsearch 集群中进行的备份。您可以拍摄单个索引或整个集群的快照,并将快照存储在共享文件系统上的存储库中。还有可用的插件支持远程存储库。
仅源数据快照
源存储库使您能够创建最小的、仅限源的快照,这些快照在磁盘上占用的空间减少多达 50%。仅限源的快照包含存储的字段和索引元数据。它们不包括索引或 doc values 结构,并且在恢复时不可搜索。
汇总索引
保留历史数据以进行分析非常有用,但由于存档大量数据的财务成本,通常会避免这样做。因此,保留期由财务现实而不是广泛历史数据的有用性驱动。汇总功能提供了一种汇总和存储历史数据的方法,以便仍可将其用于分析,但存储成本仅为原始数据的一小部分。
搜索和分析
搜索和分析
全文搜索
Elasticsearch 以其强大的全文搜索功能而闻名。它的速度来自其核心的倒排索引,而它的强大功能来自其可调整的相关性评分、高级查询 DSL 和广泛的搜索增强功能。
倒排索引
Elasticsearch 使用一种称为倒排索引的结构,该结构旨在允许非常快速的全文搜索。倒排索引包含出现在任何文档中的所有唯一单词的列表,以及每个单词出现的文档列表。要创建倒排索引,我们首先将每个文档的内容字段拆分为单独的单词(我们称之为术语或标记),创建所有唯一术语的排序列表,然后列出每个术语出现在哪个文档中。
运行时字段
运行时字段是在查询时评估的字段(读取时模式)。运行时字段可以随时引入或修改,包括在文档被索引之后,并且可以定义为查询的一部分。运行时字段以与索引字段相同的接口暴露给查询,因此一个字段在数据流的某些索引中可以是运行时字段,而在该数据流的其他索引中可以是索引字段,并且查询不需要知道这一点。虽然索引字段提供最佳查询性能,但运行时字段通过在文档索引后引入更改数据结构的灵活性来补充它们。
查找运行时字段
查找运行时字段使您可以通过定义链接文档的两个索引上的键,将查找索引中的信息添加到主索引的结果中,从而具有灵活性。与运行时字段一样,此功能在查询时使用,从而提供灵活的数据丰富。
相关性评分
相似性(相关性评分/排名模型)定义如何对匹配的文档进行评分。默认情况下,Elasticsearch 使用 BM25 相似性——一种高级的、基于 TF/IDF 的相似性,具有内置的 tf 归一化,最适合短字段(如名称)——但还有许多其他相似性选项可用。
向量搜索 (ANN)
基于 Lucene 9 新的基于 HNSW 算法的近似最近邻或 ANN 支持,新的 _knn_search API 端点通过向量相似性促进更具可扩展性和性能的搜索。它通过在召回率和性能之间进行权衡来实现这一点,即通过在召回率上做出小的妥协,在非常大的数据集上实现更好的性能(与现有的暴力向量相似性方法相比)。
查询 DSL
全文搜索需要一个强大的查询语言。Elasticsearch 提供了一个基于 JSON 的完整 Query DSL(领域特定语言)来定义查询。创建简单的查询以匹配术语和短语,或开发可以组合多个查询的复合查询。此外,可以在查询时应用过滤器以在对文档进行相关性评分之前删除文档。
突出显示器
高亮显示器使您能够从搜索结果中的一个或多个字段中获取高亮显示的片段,以便您可以向用户显示查询匹配的位置。当您请求高亮显示时,响应会为每个搜索命中包含一个额外的高亮显示元素,其中包括高亮显示的字段和高亮显示的片段。
建议器(您是不是要找)
短语建议器通过在术语建议器的基础上构建额外的逻辑,根据 ngram 语言模型选择整个更正后的短语而不是单独的标记,从而为您的搜索添加了“您是不是要找”功能。实际上,此建议器将能够根据共现和频率,更好地决定要选择哪些标记。
过滤器
颠覆使用查询查找存储在索引中的文档的标准搜索模型,可以使用 percolator 将文档与存储在索引中的查询进行匹配。percolate
查询本身包含将用作查询的文档,以与存储的查询进行匹配。
查询分析器/优化器
Profile API 提供有关搜索请求中各个组件执行的详细计时信息。它可以深入了解搜索请求如何在较低级别执行,以便您可以了解为什么某些请求速度缓慢并采取措施加以改进。
查询取消
查询取消是一项有用的 Kibana 功能,可通过减少不必要的处理过载来帮助整体集群影响。当用户更改/更新其查询或刷新浏览器页面时,将自动取消 Elasticsearch 请求。
搜索和分析
分析
搜索数据只是一个开始。Elastic Stack 强大的分析功能使您可以获取您搜索到的数据并找到更深层的含义。无论是通过聚合结果、查找文档之间的关系还是根据阈值创建警报,它都建立在强大的搜索功能的基础之上。
指标聚合
存储桶聚合
管道聚合
矩阵聚合
地理网格聚合
随机采样器聚合
图表探索
Graph 探索 API 使您能够提取和总结 Elasticsearch 索引中关于文档和术语的信息。了解此 API 行为的最佳方法是在 Kibana 中使用 Graph 来探索连接。
阈值警报
创建阈值警报,定期检查 Elasticsearch 索引中的数据在给定时间间隔内何时高于或低于某个阈值。我们的警报功能为您提供 Elasticsearch 查询语言的全部功能,以识别您感兴趣的数据变化。
搜索和分析
机器学习
Elastic 机器学习功能会自动实时建模您的 Elasticsearch 数据的行为——趋势、周期性等等——以便更快地识别问题,简化根本原因分析并减少误报。
时间序列异常检测
Elastic 机器学习功能通过在数据中创建准确的正常行为基线并识别该数据中的异常模式,自动分析时间序列数据。使用专有的机器学习算法检测、评分异常,并将异常与数据中具有统计意义的影响因素联系起来。
与值、计数或频率的时间偏差相关的异常
统计稀有性
群体成员的异常行为
异常值检测 API
无监督异常值检测使用四种不同的基于距离和密度的机器学习技术来查找与大多数数据点相比哪些数据点是不寻常的。通过使用创建数据帧分析作业 API 来创建异常值检测数据帧分析作业。
搜索和分析
Elastic APM
已经将日志和系统指标存储在 Elasticsearch 中?使用 Elastic APM 扩展到应用程序指标。四行代码可让您看到更大的画面,从而快速解决问题,并对您推送的代码感到满意。
APM 服务器
APM 服务器接收来自 APM 代理的数据并将其转换为 Elasticsearch 文档。它通过公开 HTTP 服务器端点来实现此目的,代理将它们收集的 APM 数据流式传输到该端点。在 APM 服务器验证和处理来自 APM 代理的事件后,服务器将数据转换为 Elasticsearch 文档并将其存储在相应的 Elasticsearch 索引中。
APM 代理
APM 代理是用与您的服务相同的语言编写的开源库。您像安装任何其他库一样将它们安装到您的服务中。它们检测您的代码并在运行时收集性能数据和错误。此数据会缓冲一小段时间,然后发送到 APM 服务器。
APM 应用
查找和修复代码中的障碍归根结底是搜索。我们在 Kibana 中的专用 APM 应用程序可让您识别瓶颈并精确定位代码级别的有问题更改。因此,您可以获得更好、更高效的代码,从而加快开发-测试-部署循环、更快的应用程序和更好的客户体验。
探索和可视化
探索和可视化
可视化
创建 Elasticsearch 索引中数据的可视化效果。 Kibana 可视化基于 Elasticsearch 查询。通过使用一系列 Elasticsearch 聚合来提取和处理您的数据,您可以创建图表来显示您需要了解的趋势、峰值和低谷。
仪表板
Kibana 仪表板显示可视化和搜索的集合。您可以排列、调整大小和编辑仪表板内容,然后保存仪表板以便共享。您可以在多个仪表板之间创建自定义向下钻取,甚至可以创建到 Web 应用程序的向下钻取,以推动行动和决策。
Canvas
Canvas 是一种全新的使数据看起来很棒的方式。 Canvas 将数据与颜色、形状、文本以及您自己的想象力结合在一起,将动态、多页、像素级完美的数据显示带到大大小小的屏幕上。
Kibana Lens
Kibana Lens 是一种易于使用的直观 UI,可通过拖放体验简化数据可视化过程。无论您是在探索数十亿个日志还是发现您网站流量的趋势,Lens 都能让您只需点击几下即可从数据到见解,而无需任何 Kibana 的先前经验。
时间序列可视化构建器
通过使用 Elasticsearch 聚合框架的全部功能,时间序列可视化生成器 (TSVB) 是一种时间序列数据可视化器,它结合了无限数量的聚合和管道聚合,以有意义的方式显示复杂的数据。
地理空间分析
“位置”是 Elastic Stack 许多用户的关键问题。无论您是保护您的网络免受攻击者的攻击,调查特定位置的应用程序响应时间过慢,还是只是呼叫回家,地理数据和搜索都起着重要作用。
Vega 可视化
Prometheus 导出器
3D 图表和图形
日历可视化
以及更多
Kibana 运行时字段编辑器
Kibana 运行时字段编辑器使用 Elasticsearch 的运行时字段功能,使分析师可以访问动态添加他们自己的自定义字段。通过索引模式、发现和 Kibana Lens,此编辑器可用于创建、编辑或删除运行时字段。
探索和可视化
分享与协作
使用适合您的共享选项,轻松地与您的团队成员、您的老板、他们的老板、您的客户、合规经理、承包商(实际上是您喜欢的任何人)共享 Kibana 可视化。嵌入仪表板、共享链接或导出为 PDF、PNG 或 CSV 文件并作为附件发送。或将您的仪表板和可视化效果组织到 Kibana 空间中。
可嵌入仪表板
在 Kibana 中,您可以轻松共享指向 Kibana 仪表板的直接链接,或将仪表板作为 iframe 嵌入到网页中 - 作为实时仪表板或当前时间点的静态快照。
仅仪表板模式
使用 kibana_dashboard_only_user 内置角色来限制用户登录 Kibana 时看到的内容。 kibana_dashboard_only_user 角色预配置了对 Kibana 的只读权限。当用户打开仪表板时,他们将获得有限的视觉体验。所有编辑和创建控件都将被隐藏。
空间
借助 Kibana 中的空间,您可以将仪表板和其他已保存的对象组织成有意义的类别。进入特定空间后,您将只看到属于它的仪表板和其他已保存的对象。启用安全性后,您可以控制哪些用户有权访问各个空间,从而为您提供额外的保护层。
Kibana 空间的自定义横幅
自定义横幅有助于区分不同角色、团队、职能等的 Kibana 空间。为各个 Kibana 空间定制特定的公告和消息,并帮助用户快速识别他们所在的 空间。
探索和可视化
Elastic Maps
地图应用程序使您能够以大规模、快速和实时的方式解析您的地理数据。凭借地图中的多个图层和索引、绘制原始文档、动态客户端样式以及跨多个图层的全局搜索等功能,您可以轻松理解和监控您的数据。
地图图层
使用 Kibana 中的地图应用程序将来自唯一索引的图层添加到同一个视图中。由于这些图层在同一张地图上,您可以实时搜索和筛选所有图层。选项包括等值线图层、热图图层、切片图层和矢量图层,甚至包括针对 APM 数据的可观测性等特定用例图层。
矢量瓦片
矢量切片将您的地图划分为切片,并提供最佳性能和流畅的缩放,优于其他替代方法。所有新的多边形图层默认启用“使用矢量切片”设置。如果您更喜欢 10,000 条记录的方法,可以在图层设置中更改缩放选项。
Elastic Maps Service (缩放级别)
Elastic Maps Service 通过提供底图切片、形状文件以及可视化地理数据所需的核心功能,为 Kibana 中的所有地理空间可视化(包括地图应用程序)提供支持。使用 Kibana 的默认分发,您可以在地图上放大 18 倍。
Elastic Maps Server
Elastic Maps Server 在本地基础设施上使用 Elastic Maps Service 的底图和边界。
GeoJSON 上传
虽然简单易用,但 GeoJSON 上传功能非常强大。通过直接摄取到 Elasticsearch 中,该功能使地图创建者能够将富含点、形状和内容的 GeoJSON 文件拖放到地图中进行即时可视化。在跟踪数据驱动的对象移动时,使用 GeoJSON 定义的边界启用电子邮件或 Web 应用程序警报。
探索和可视化
Elastic Logs
凭借对常见数据源的开箱即用支持和默认仪表板,Elastic Stack 的目标是即插即用体验。通过 Filebeat 和 Winlogbeat 发送日志,索引到 Elasticsearch 中,并在几分钟内在 Kibana 中可视化所有内容。
日志收集器 (Filebeat)
Filebeat 通过提供一种轻量级的方式来转发和集中日志和文件,帮助您保持简单。Filebeat 带有内部模块(auditd、Apache、NGINX、System、MySQL 等),这些模块将常见日志格式的收集、解析和可视化简化为单个命令。
探索和可视化
Elastic Metrics
使用Elastic Metrics,轻松跟踪诸如 CPU 使用率、系统负载、内存使用率和网络流量之类的高级指标,以帮助您评估服务器、容器和服务整体运行状况。
指标收集器 (Metricbeat)
Metricbeat 是一种轻量级的发送器,您可以将其安装在服务器上,以定期收集来自操作系统和服务器上运行的服务的指标。从 CPU 到内存,从 Redis 到 NGINX,Metricbeat 是一种发送系统和服务统计信息的轻量级方法。
探索和可视化
Elastic Uptime
借助由开源 Heartbeat 提供支持的 Elastic Uptime,您的可用性数据与日志、指标和 APM 提供的丰富上下文协同工作 — 这使得连接各个环节、关联活动并快速解决问题变得更加简单。
正常运行时间监视器 (Heartbeat)
Heartbeat 是一个轻量级守护程序,您可以将其安装在远程服务器上以定期检查服务的状态并确定它们是否可用。Heartbeat 摄取服务器数据,然后这些数据将显示在 Kibana 中的 Uptime 仪表板和应用程序中。
正常运行时间仪表板
Heartbeat 示例仪表板使您可以轻松地在 Kibana 中可视化您的服务状态。快速开始使用这些预配置的仪表板,然后对其进行自定义以满足您的需求。
正常运行时间的警报集成
直接从 Uptime 应用程序中轻松地根据您的可用性数据创建基于阈值的警报,并以您选择的方式接收通知 — 文档、日志、Slack、简单 Webhook 等。
证书监控
当您的 SSL 或 TLS 证书即将过期时进行检查或接收通知,并直接在 Uptime 应用程序中保持服务的可用性。
正常运行时间应用
Kibana 中的 Uptime 应用程序旨在帮助您快速识别和诊断网络或环境中的中断和其他连接问题。从此有用的界面中轻松监视主机、服务、网站、API 等。
探索和可视化
Elastic Security
Elastic Security 使安全团队能够预防、检测和响应威胁。它在主机上阻止勒索软件和恶意软件,自动检测威胁和异常,并通过直观的工作流程、内置案例管理以及与 SOAR 和票务平台的集成来简化响应。
Elastic Common Schema
使用 Elastic Common Schema (ECS) 统一分析来自不同来源的数据。检测规则、机器学习作业、仪表板和其他安全内容可以更广泛地应用,可以更精细地构建搜索,并且更容易记住字段名称。
主机安全分析
Elastic Security 支持对来自 Elastic Agent 和 Elastic Beats 以及 Carbon Black、CrowdStrike 和 Microsoft Defender for Endpoint 等技术的端点数据进行交互式分析。使用会话视图探索 shell 活动,并使用分析器探索进程。
网络安全分析
Elastic Security 支持使用交互式地图、图形、事件表等进行网络安全监控。它支持多种网络安全解决方案,包括 Suricata 和 Zeek 等 OSS 技术、来自 Cisco ASA、Palo Alto Networks 和 Check Point 等供应商的设备,以及 AWS、Azure、GCP 和 Cloudflare 等云服务。
用户安全分析
Elastic Security 在实体分析方面表现出色。该解决方案提供了对用户活动的可见性,帮助从业者解决内部威胁、帐户接管、权限滥用和相关媒介。环境范围的收集支持安全监控,用户数据呈现在精选的可视化和表格中。用户上下文在搜寻或调查过程中呈现,并且可以快速访问更多详细信息。
案例管理
内置案例管理工作流程增强了对检测和响应的控制。Elastic Security 允许分析师轻松打开、更新、标记、评论、关闭案例并将案例与外部系统集成。开放的 API 和对 IBM Resilient、Jira、Swimlane 和 ServiceNow 的预构建支持使能够与现有工作流程保持一致。
检测引擎
检测引擎执行基于技术的威胁检测并针对高价值异常发出警报。由 Elastic Security 研究工程师开发和测试的预构建规则支持快速采用。可以为以 Elastic Common Schema (ECS) 格式化的任何数据创建自定义规则。
行为勒索软件防御
Elastic Security 通过在 Elastic Agent 上执行的行为分析来阻止勒索软件。该功能通过分析来自底层系统进程的数据来阻止 Windows 系统上的勒索软件攻击,并且在各种广泛传播的勒索软件家族中均有效。
恶意行为保护
Elastic Agent 上的恶意行为防护在端点阻止高级威胁,为 Linux、Windows 和 macOS 主机提供新的保护层。恶意行为防护通过动态阻止执行后行为来加强现有的恶意软件和勒索软件防护,从而阻止高级威胁。
反恶意软件
无签名恶意软件防护立即阻止 Linux、Windows 和 macOS 主机上的恶意可执行文件。该功能随 Elastic Agent 一起提供,Elastic Agent 还收集安全数据并支持基于主机的检查和响应。基于 Kibana 的管理简化了部署和管理。
主机内存保护
Elastic Agent 上的内存保护功能可阻止许多通过 shellcode 进行进程注入的技术,从而阻止诸如线程执行劫持、异步过程调用、进程空洞化和进程多普勒技术等子技术。
内存威胁保护
Osquery 中心管理
Elastic Security 使用户能够轻松地在每个端点上部署 osquery,从而简化跨 Linux、Windows 和 macOS 主机的狩猎和主机检查。该解决方案提供对丰富主机数据的直接访问,这些数据可以使用预构建或自定义 SQL 查询进行检索,以便在 Elastic Security 中进行分析。
基于主机的网络活动分析
使用 Elastic Agent 从无限数量的主机收集网络活动。对其进行分析,以揭示防火墙看不到的网络内部和外部流量,从而帮助安全团队解决诸如水坑攻击、数据泄露和 DNS 攻击等恶意行为。网络数据包分析器集成包括 Npcap 的免费商业许可证,Npcap 是广泛部署的 Windows 数据包嗅探库,可在每个主机上实现网络可见性,无论操作系统如何。
云工作负载会话审计
使用由 eBPF 提供支持的轻量级代理来保护混合云工作负载和云原生应用程序。通过预构建和自定义检测规则以及机器学习模型自动发现运行时威胁。通过显示丰富上下文的类似终端的视图进行调查。
KSPM 数据收集和 CIS 态势发现
深入了解您在多云环境中的安全态势。查看调查结果,对照 CIS 控制评估调查结果,并遵循补救指南以推动快速改进。