Elastic Stack 功能
从企业级安全和对开发者友好的 API 到机器学习和图形分析,Elastic Stack 附带了各种功能(有些以前打包为 X-Pack),可帮助您大规模摄取、分析、搜索和可视化所有类型的数据。
探索和可视化
管理和运维
管理和运维
可扩展性和弹性
Elasticsearch 在专为持久安心而设计的分布式环境中运行。我们的集群会随着您的需求而增长 - 只需添加另一个节点即可。
集群和高可用性
集群是由一个或多个节点(服务器)的集合,它们共同保存您的所有数据,并在所有节点之间提供联合索引和搜索功能。Elasticsearch 集群具有主分片和副本分片,以便在节点出现故障时提供故障转移。当主分片出现故障时,副本分片将取代它。
了解集群和高可用性水平扩展
随着您使用量的增长,Elasticsearch 会随您一起扩展。添加更多数据,添加更多用例,当您开始耗尽资源时,只需向集群添加另一个节点即可提高其容量和可靠性。当您向集群添加更多节点时,它会自动分配副本分片,以便您为未来做好准备。
了解水平扩展机架感知
您可以使用自定义节点属性作为感知属性,使 Elasticsearch 能够在分配分片时考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点位于同一物理服务器、同一机架或同一区域中,它可以分发主分片及其副本分片,以最大程度地降低在发生故障时丢失所有分片副本的风险。
了解分配感知灾难恢复:如果主集群发生故障,则辅助集群可以用作热备份。
地理位置接近:可以在本地提供读取,从而减少网络延迟。
跨数据中心复制
跨数据中心复制一段时间以来一直是 Elasticsearch 上关键任务应用程序的要求,并且以前已通过其他技术部分解决。借助 Elasticsearch 中的跨集群复制,无需其他技术即可跨数据中心、地理位置或 Elasticsearch 集群复制数据。
阅读有关跨数据中心复制的信息管理和运维
监控
Elastic Stack 的监控功能使您可以了解 Elastic Stack 的运行方式。密切关注其性能,以确保您充分利用它。
全栈监控
Elastic Stack 的监控功能使您可以深入了解 Elasticsearch、Logstash 和 Kibana 的运行情况。所有监控指标都存储在 Elasticsearch 中,这使您可以轻松地在 Kibana 中可视化数据。
了解如何监控 Elastic Stack堆栈问题自动警报
借助 Elastic Stack 警报功能,您可以使用警报功能自动收到有关集群变化的通知 - 集群状态、许可证到期以及 Elasticsearch、Kibana 和 Logstash 中的其他指标。
了解自动堆栈警报管理和运维
管理
Elastic Stack 附带各种管理工具、UI 和 API,允许完全控制数据、用户、集群操作等。
索引生命周期管理
索引生命周期管理 (ILM) 允许用户定义和自动化策略,以控制索引在四个阶段中的每个阶段应保留多长时间,以及在每个阶段对索引执行的操作集。这允许更好地控制运营成本,因为可以将数据放在不同的资源层中。
了解 ILM热:主动更新和查询
温:不再更新,但仍在查询
冷/冻结:不再更新且很少查询(可以搜索,但速度较慢)
删除:不再需要
数据层
数据层是通过节点角色属性将数据划分为热、温、冷节点的正式方式,该属性自动为您的节点定义索引生命周期管理策略。通过分配热、温、冷节点角色,您可以极大地简化和自动化将数据从成本更高、性能更高的存储移动到成本更低、性能更低的存储的过程,所有这些都不会影响洞察力。
了解数据层- 热:在性能最高的实例上主动更新和查询
温:在性能较低的实例上查询频率较低的数据
冷:只读,很少查询,在不降低性能的情况下显着减少存储,由可搜索快照提供支持
可搜索快照
可搜索快照使您能够直接查询快照,而所需的时间仅为完成典型快照还原所需时间的一小部分。这是通过仅读取每个快照索引中完成请求所需的部分来实现的。与冷层一起,可搜索快照可以通过将副本分片备份到基于对象的存储系统(如 Amazon S3、Azure 存储或 Google 云存储)中,同时仍然提供对它们的完全搜索访问权限,从而显着降低您的数据存储成本。
了解可搜索快照快照生命周期管理
作为后台快照管理器,快照生命周期管理 (SLM) API 允许管理员定义拍摄 Elasticsearch 集群快照的节奏。借助专用 UI,SLM 使用户能够配置 SLM 策略的保留期,并自动创建、安排和删除快照 - 确保以足够频繁的频率对给定集群进行适当的备份,以便能够根据客户 SLA 进行还原。
了解 SLM基于快照的对等恢复
此功能允许 Elasticsearch 从最近的快照中恢复副本并重新定位主分片(如果数据可用),从而降低在节点到节点数据传输成本高于从快照恢复数据的成本的环境中运行的集群的运营成本。
了解基于快照的对等恢复数据汇总
保留历史数据以供分析非常有用,但由于存档大量数据的财务成本,因此经常被避免。因此,保留期是由财务现实驱动的,而不是由广泛的历史数据的有用性驱动的。汇总功能提供了一种汇总和存储历史数据的方法,以便仍然可以将其用于分析,但存储成本仅为原始数据的一小部分。
了解汇总升级助手 API
升级助手 API 允许您检查 Elasticsearch 集群的升级状态,并重新索引在上一个主要版本中创建的索引。该助手可帮助您为下一个主要版本的 Elasticsearch 做好准备。
了解升级助手 API转换
转换是二维表格数据结构,使索引数据更易于理解。转换执行聚合,将您的数据透视到一个新的以实体为中心的索引中。通过转换和汇总数据,可以以其他方式(包括作为其他机器学习分析的来源)对其进行可视化和分析。
了解转换管理和运维
警报
Elastic Stack 的警报功能为您提供了 Elasticsearch 查询语言的全部功能,可以识别数据中您感兴趣的变化。换句话说,如果您可以在 Elasticsearch 中查询某些内容,则可以对其发出警报。
高可用性、可扩展的警报
各种规模的组织都信赖 Elastic Stack 来满足其警报需求,这是有原因的。通过以任何格式从任何来源可靠、安全地提取数据,分析师可以实时搜索、分析和可视化关键数据,所有这些都通过定制的、可靠的警报来实现。
了解警报通过电子邮件、Webhook、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、Slack、xMatters 发送通知
通过内置集成将警报与电子邮件、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、xMatters 和 Slack 相关联。通过 webhook 输出与任何其他第三方系统集成。
了解警报通知选项针对 Discover 的搜索阈值警报
Discover 中的搜索阈值规则基于 Elasticsearch 查询 - 它以给定的时间间隔分析文档,以检查是否达到具有指定条件的文档的阈值,然后触发警报。如果用户希望触发通知或自动创建事件,则可以创建和分配操作。
了解 Discover 的搜索阈值警报管理和运维
堆栈安全
Elastic Stack 的安全功能可为合适的人员提供合适的访问权限。IT、运营和应用程序团队依靠这些功能来管理善意的用户并阻止恶意行为者,而高管和客户可以放心,因为他们知道存储在 Elastic Stack 中的数据是安全可靠的。
安全设置
某些设置非常敏感,依靠文件系统权限来保护其值是不够的。对于这种用例,Elastic Stack 组件提供密钥库以防止对敏感集群设置的不必要访问。Elasticsearch 和 Logstash 密钥库可以选择进行密码保护,以提高安全性。
详细了解安全设置静态加密支持
虽然 Elastic Stack 没有实现开箱即用的静态加密,但建议在所有主机上配置磁盘级加密。此外,快照目标还必须确保数据在静态时进行加密。
基于属性的访问控制 (ABAC)
Elastic Stack 的安全功能还提供基于属性的访问控制 (ABAC) 机制,使您能够使用属性来限制对搜索查询和聚合中文档的访问。这使您能够在角色定义中实现访问策略,以便用户只有在拥有所有必需属性的情况下才能读取特定文档。
了解 ABACIP 过滤
除了尝试加入集群的其他节点之外,您还可以对应用程序客户端、节点客户端或传输客户端应用 IP 过滤。如果节点的 IP 地址在黑名单中,则 Elasticsearch 安全功能允许连接到 Elasticsearch,但会立即断开连接,并且不会处理任何请求。
IP 地址或范围
xpack.security.transport.filter.allow: "192.168.0.1" xpack.security.transport.filter.deny: "192.168.0.0/24"
白名单
xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ] xpack.security.transport.filter.deny: _all
IPv6
xpack.security.transport.filter.allow: "2001:0db8:1234::/48" xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"
主机名
xpack.security.transport.filter.allow: localhost xpack.security.transport.filter.deny: '*.google.com'了解 IP 过滤
单点登录 (SSO)
Elastic Stack 支持使用 Elasticsearch 作为后端服务,通过 SAML 单点登录 (SSO) 登录 Kibana。SAML 身份验证允许用户使用外部身份提供程序(例如 Okta 或 Auth0)登录 Kibana。
了解 SSOFIPS 140-2 模式
Elasticsearch 提供了一种符合 FIPS 140-2 的模式,可以在启用的 JVM 中运行。通过 FIPS 批准/NIST 推荐的加密算法确保符合处理标准。
了解 FIPS 140-2 合规性标准 (GDPR)
您的数据很有可能被GDPR 指南归类为个人数据。了解如何使用 Elastic Stack 的功能(从基于角色的访问控制到数据加密)来使您的 Elasticsearch 数据满足 GDPR 安全和处理要求。
阅读 GDPR 白皮书管理和运维
部署
公共云、私有云或介于两者之间的任何地方 - 我们使您能够轻松运行和管理 Elastic Stack。
下载和安装
入门从未如此简单。只需下载 Elasticsearch 和 Kibana 并将其作为存档或使用包管理器进行安装即可。您将立即对数据进行索引、分析和可视化。借助默认发行版,您还可以免费试用 Platinum 功能(例如机器学习、安全性、图形分析等)30 天。
下载 Elastic StackElastic Cloud
Elastic Cloud 是我们不断发展的 SaaS 产品系列,可轻松在云中部署、运营和扩展 Elastic 产品和解决方案。从易于使用的托管 Elasticsearch 体验到强大的开箱即用搜索解决方案,Elastic Cloud 是您无缝使用 Elastic 的跳板。免费试用任何 Elastic Cloud 产品 14 天 - 无需信用卡。
在 Elastic Cloud 中开始使用Elastic Cloud Enterprise
借助 Elastic Cloud Enterprise (ECE),您可以在任何基础架构上以任何规模配置、管理和监控 Elasticsearch 和 Kibana,同时从单个控制台管理所有内容。选择运行 Elasticsearch 和 Kibana 的位置:物理硬件、虚拟环境、私有云、公共云中的私有区域或普通的公共云(例如 Google、Azure、AWS)。我们已经涵盖了所有这些。
免费试用 ECE 30 天Kubernetes 上的 Elastic Cloud
Elastic Cloud on Kubernetes (ECK) 基于 Kubernetes Operator 模式构建,扩展了基本的 Kubernetes 编排功能,以支持在 Kubernetes 上设置和管理 Elasticsearch 和 Kibana。借助 Elastic Cloud on Kubernetes,简化了在 Kubernetes 中运行 Elasticsearch 的部署、升级、快照、扩展、高可用性、安全性等流程。
使用 Elastic Cloud on Kubernetes 进行部署管理和运维
客户端
Elastic Stack 允许您以您最习惯的任何方式处理数据。凭借其 RESTful API、语言客户端、强大的 DSL 等等(甚至包括 SQL),我们非常灵活,因此您不会陷入困境。
检查您的集群、节点和索引的运行状况、状态和统计信息。
管理您的集群、节点和索引数据和元数据。
对您的索引执行 CRUD(创建、读取、更新和删除)和搜索操作。
执行高级搜索操作,例如分页、排序、过滤、脚本、聚合等等。
语言客户端
Elasticsearch 使用标准的 RESTful API 和 JSON。我们还使用多种语言(例如 Java、Python、.NET、SQL 和 PHP)构建和维护客户端。此外,我们的社区还贡献了许多其他内容。它们易于使用,使用起来很自然,而且就像 Elasticsearch 一样,不会限制您可能想用它们做什么。
探索可用的语言客户端Elasticsearch DSL
Elasticsearch 提供了一个完整的基于 JSON 的查询 DSL(领域特定语言)来定义查询。查询 DSL 为全文搜索提供了强大的搜索选项,包括词条和短语匹配、模糊性、通配符、正则表达式、嵌套查询、地理查询等等。
了解 Elasticsearch DSLGET /_search { "query": { "match" : { "message" : { "query" : "this is a test", "operator" : "and" } } } }
Elasticsearch SQL
Elasticsearch SQL 是一项允许针对 Elasticsearch 实时执行类似 SQL 的查询的功能。无论是使用 REST 接口、命令行还是 JDBC,任何客户端都可以使用 SQL 在 Elasticsearch 内部本地搜索和聚合数据。
了解 Elasticsearch SQLJDBC 客户端
Elasticsearch SQL JDBC 驱动程序是一个功能丰富、功能齐全的 Elasticsearch JDBC 驱动程序。它是 Type 4 驱动程序,这意味着它是一个独立于平台、独立的、直接连接数据库的纯 Java 驱动程序,可将 JDBC 调用转换为 Elasticsearch SQL。
了解 JDBC 客户端ODBC 客户端
Elasticsearch SQL ODBC 驱动程序是一个功能丰富的 3.80 ODBC 驱动程序,适用于 Elasticsearch。它是一个核心级驱动程序,公开了可通过 Elasticsearch SQL ODBC API 访问的所有功能,并将 ODBC 调用转换为 Elasticsearch SQL。
了解 ODBC 客户端适用于 Elasticsearch 的 Tableau 连接器
Tableau Connector for Elasticsearch 使 Tableau Desktop 和 Tableau Server 用户可以轻松访问 Elasticsearch 中的数据。
下载 Tableau Connector摄取和充实
摄取和充实
数据源
无论您拥有哪种数据,Beats 都非常适合收集数据。它们位于您的服务器上,与您的容器一起,或作为函数部署,然后将数据集中到 Elasticsearch 中。如果您需要更强大的处理能力,Beats 还可以发送到 Logstash 进行转换和解析。
操作系统
收集您的 Linux 审计框架数据并监控文件的完整性。Auditbeat 会实时将这些事件发送到 Elastic Stack 的其余部分以进行进一步分析。
密切关注基于 Windows 的基础架构中发生的情况。Winlogbeat 以轻量级的方式将 Windows 事件日志实时流式传输到 Elasticsearch 和 Logstash。
阅读有关 Winlogbeat 的信息Web 服务器和代理
Filebeat 和 Metricbeat 提供了多种监控 Web 服务器和代理服务器的方法,包括针对 NGINX、Apache、HAProxy、IIS 等的模块和预配置仪表板。
数据存储和队列
Filebeat 和 Metricbeat 包括内部模块,这些模块简化了从数据存储、数据库和队列系统(如 MySQL、MongoDB、PostgreSQL、Microsoft SQL 等)收集、解析和可视化常见日志格式和系统指标的过程。
云服务
从单一视图跟踪 Amazon Web Services、Google Cloud 和 Microsoft Azure 中各种云服务的性能和可用性,以推动大规模高效分析。此外,Functionbeat 在观察无服务器云架构(包括 Kinesis、SQS 和 CloudWatch 日志)时提供了简单性。
Metricbeat 和 Filebeat 中的自动发现功能可让您及时了解环境中的变化。
使用 Docker 和 Kubernetes API 钩子自动添加模块和日志路径,并动态调整您的监控设置。
网络数据
HTTP、DNS 和 SIP 等网络信息可让您密切关注应用程序延迟和错误、响应时间、SLA 性能、用户访问模式和趋势等。利用这些数据来了解流量如何流经您的网络。
安全数据
检测威胁的关键可能来自任何地方。因此,实时了解您的环境中发生的事情至关重要。Agent 和 Beats 会提取无数商业和开源安全数据源,从而实现大规模监控和检测。
文件导入
使用文件数据可视化器,您可以将 CSV、NDJSON 或日志文件上传到 Elasticsearch 索引。文件数据可视化器使用文件结构 API 来识别文件格式和字段映射,之后您可以选择将数据导入索引。
摄取和充实
数据充实
借助各种分析器、标记器、过滤器和索引时间 enrichment 选项,Elastic Stack 可以将原始数据转换为有价值的信息。
处理器
使用摄取节点在实际文档索引发生之前对文档进行预处理。摄取节点拦截批量和索引请求,应用转换,然后将文档传递回索引或批量 API。摄取节点提供超过 25 种不同的处理器,包括 append、convert、date、dissect、drop、fail、grok、join、remove、set、split、sort、trim 等等。
分析器
分析是将文本(如任何电子邮件的正文)转换为标记或术语的过程,这些标记或术语被添加到倒排索引中以进行搜索。分析由分析器执行,分析器可以是内置分析器,也可以是使用标记器和过滤器组合为每个索引定义的自定义分析器。
示例:标准分析器(默认)
输入:“The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.”
输出:the
2
quick
brown
foxes
jumped
over
the
lazy
dog's
bone
分词器
标记器接收字符流,将其分解为单个标记(通常是单个单词),并输出标记流。标记器还负责记录每个术语的顺序或位置(用于短语和单词邻近查询)以及该术语所代表的原始单词的开始和结束字符偏移量(用于突出显示搜索片段)。Elasticsearch 有许多内置标记器,可用于构建自定义分析器。
示例:空格标记器
输入:“The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.”
输出:The
2
QUICK
Brown-Foxes
jumped
over
the
lazy
dog's
bone.
过滤器
标记过滤器接受来自标记器的标记流,并且可以修改标记(例如,小写)、删除标记(例如,删除停用词)或添加标记(例如,同义词)。Elasticsearch 有许多内置标记过滤器,可用于构建自定义分析器。
字符过滤器用于在将字符流传递给标记器之前对其进行预处理。字符过滤器接收原始文本作为字符流,并且可以通过添加、删除或更改字符来转换流。Elasticsearch 有许多内置字符过滤器,可用于构建自定义分析器。
了解有关字符过滤器的更多信息Grok
grok 模式类似于支持可重复使用的别名表达式的正则表达式。使用 grok 从文档中的单个文本字段中提取结构化字段。此工具非常适合 syslog 日志、Web 服务器日志(如 Apache)、MySQL 日志以及通常为人类而非计算机使用而编写的任何日志格式。
字段转换
如果您使用数据馈送,则可以添加脚本以在分析数据之前对其进行转换。数据馈送包含一个可选的 script_fields 属性,您可以在其中指定用于评估自定义表达式并返回脚本字段的脚本。使用此功能,您可以执行各种转换。
添加数字字段
连接、修剪和转换字符串
标记替换
正则表达式匹配和连接
按域名拆分字符串
转换 geo_point 数据
外部查找
使用 Logstash 外部查找插件在摄取时丰富您的日志数据。使用客户端 IP 位置、DNS 查找结果甚至来自相邻日志行的数据等信息轻松补充日志行并为其提供更多上下文。Logstash 有各种查找插件可供选择。
匹配充实处理器
匹配摄取处理器允许用户在摄取时查找数据,并指示从中提取丰富数据的索引。这有助于需要向其数据添加一些元素的 Beats 用户 - 用户可以直接查阅摄取管道,而不是从 Beats 转向 Logstash。用户还可以使用处理器规范化数据,以获得更好的分析和更常见的查询。
地理匹配充实处理器
geo-match enrich 处理器是一种有用且实用的方法,允许用户通过利用其地理数据来提高其搜索和聚合能力,而无需在地理坐标方面定义查询或聚合。与匹配 enrich 处理器类似,用户可以在摄取时查找数据,并找到从中提取丰富数据的最佳索引。
摄取和充实
模块和集成
客户端和 API
Elasticsearch 使用标准的 RESTful API 和 JSON。我们还使用多种语言(例如 Java、Python、.NET、SQL 和 PHP)构建和维护客户端。此外,我们的社区还贡献了许多其他内容。它们易于使用,使用起来很自然,而且就像 Elasticsearch 一样,不会限制您可能想用它们做什么。
摄取节点
Elasticsearch 提供了各种节点类型,其中一种专门用于摄取数据。摄取节点可以执行预处理管道,该管道由一个或多个摄取处理器组成。根据摄取处理器执行的操作类型和所需的资源,拥有仅执行此特定任务的专用摄取节点可能是有意义的。
Elastic Agent
Elastic Agent 是一个单一的统一代理,您可以将其部署到主机或容器以收集数据并将其发送到 Elastic Stack。您可以使用它为每个主机添加对日志、指标和其他类型数据的监控。您的 Elastic Agent 控制的主机可以使用 Endpoint Security 集成通过监控主机上的安全相关事件来提供保护,从而允许通过 Kibana 中的 Elastic Security 应用程序调查安全数据。
Beats
Beats 是开源数据传送器,您可以将其作为代理安装在服务器上,以将操作数据发送到 Elasticsearch 或 Logstash。Elastic 提供 Beats 来捕获各种常见日志、指标和其他各种数据类型。
Auditbeat 用于 Linux 审计日志
Filebeat 用于日志文件
Functionbeat 用于云数据
Heartbeat 用于可用性数据
Journalbeat 用于 systemd 日志
Metricbeat 用于基础架构指标
Packetbeat 用于网络流量
Winlogbeat 用于 Windows 事件日志
社区传送器
如果您有特定的用例需要解决,我们鼓励您创建一个社区 Beat。我们已经创建了一个基础架构来简化这个过程。libbeat 库完全用 Go 编写,它提供了所有 Beat 用于将数据发送到 Elasticsearch、配置输入选项、实现日志记录等的 API。
凭借 100 多个社区贡献的 Beat,我们拥有适用于 Cloudwatch 日志和指标、GitHub 活动、Kafka 主题、MySQL、MongoDB Prometheus、Apache、Twitter 等的代理。
探索可用的社区开发的 BeatLogstash
Logstash 是一个开源数据收集引擎,具有实时管道功能。Logstash 可以动态地统一来自不同来源的数据,并将数据规范化到您选择的目标位置。清理和民主化您的所有数据,以用于各种高级下游分析和可视化用例。
Logstash 插件
您可以将自己的输入、编解码器、过滤器或输出插件添加到 Logstash。插件可以独立于 Logstash 核心进行开发和部署。您还可以编写自己的 Java 插件以与 Logstash 一起使用。
Elasticsearch-Hadoop
Elasticsearch for Apache Hadoop(Elasticsearch-Hadoop 或 ES-Hadoop)是一个免费开源、独立、自包含的小型库,允许 Hadoop 作业与 Elasticsearch 交互。使用它可以轻松构建动态的嵌入式搜索应用程序,为您的 Hadoop 数据提供服务,或使用全文、地理空间查询和聚合执行深度、低延迟的分析。
插件和集成
作为一个免费开源、语言无关的应用程序,可以使用插件和集成轻松扩展 Elasticsearch 的功能。插件是一种以自定义方式增强 Elasticsearch 核心功能的方法,而集成是使 Elasticsearch 更易于使用的外部工具或模块。
API 扩展插件
警报插件
分析插件
发现插件
摄取插件
管理插件
映射器插件
安全插件
快照/恢复存储库插件
存储插件
摄取和充实
管理
从 Kibana 中的集中位置管理您的摄取方法。
Fleet
Fleet 在 Kibana 中提供了一个基于 Web 的 UI,用于添加和管理流行服务和平台的集成,以及管理 Elastic Agent 的队列。我们的集成提供了一种简单的方法来添加新的数据源,此外,它们还附带了开箱即用的资产,如仪表板、可视化和管道,用于从日志中提取结构化字段。
Logstash 集中式管道管理
从 Kibana 的管道管理 UI 控制多个 Logstash 实例。在 Logstash 端,只需启用配置管理并将 Logstash 注册为使用集中管理的管道配置即可。
数据存储
数据存储
灵活性
Elastic Stack 是一个强大的解决方案,几乎可以用于任何用例。虽然它以其高级搜索功能而闻名,但其灵活的设计使其成为许多不同需求的最佳工具,包括文档存储、时间序列分析和指标以及地理空间分析。
数据类型
Elasticsearch 为文档中的字段支持多种不同的数据类型,并且每种数据类型都提供自己的多个子类型。这使您能够以最有效的方式存储、分析和利用数据,而不管数据是什么。Elasticsearch 优化的一些数据类型包括
文本
形状
数字
向量
直方图
日期/时间序列
扁平化字段
地理点/地理形状
非结构化数据 (JSON)
结构化数据
全文搜索(倒排索引)
Elasticsearch 使用一种称为倒排索引的结构,该结构旨在允许非常快速的全文搜索。倒排索引由出现在任何文档中的所有唯一单词的列表组成,并且对于每个单词,都有一个包含该单词出现的文档的列表。要创建倒排索引,我们首先将每个文档的内容字段拆分为单独的单词(我们称之为术语或标记),创建一个包含所有唯一术语的排序列表,然后列出每个术语出现在哪个文档中。
文档存储(非结构化)
Elasticsearch 不要求数据在被摄取或分析之前必须是结构化的(尽管结构化会提高速度)。这种设计使得入门变得简单,但也使 Elasticsearch 成为一个有效的文档存储。尽管 Elasticsearch 不是 NoSQL 数据库,但它仍然提供类似的功能。
时间序列/分析(列式存储)
倒排索引允许查询快速查找搜索词,但排序和聚合需要不同的数据访问模式。它们不需要查找术语并查找文档,而是需要能够查找文档并查找字段中包含的术语。文档值是 Elasticsearch 中的磁盘数据结构,在文档索引时构建,这使得这种数据访问模式成为可能,允许以列式方式进行搜索。这使得 Elasticsearch 在时间序列和指标分析方面表现出色。
数据存储
安全
Elasticsearch 支持多种方法来确保数据不会落入坏人之手。
静态数据加密支持
虽然 Elastic Stack 没有实现开箱即用的静态加密,但建议在所有主机上配置磁盘级加密。此外,快照目标还必须确保数据在静态时进行加密。
数据存储
管理
Elasticsearch 使您能够完全管理您的集群及其节点、您的索引及其分片,以及最重要的,其中包含的所有数据。
集群索引
集群是一个或多个节点(服务器)的集合,它们共同保存您的所有数据,并在所有节点上提供联合索引和搜索功能。这种架构使得水平扩展变得简单。Elasticsearch 提供了一个全面而强大的 REST API 和 UI,您可以使用它们来管理您的集群。
仅源数据快照
源存储库使您能够创建最小的、仅源代码的快照,这些快照占用的磁盘空间最多可减少 50%。仅源代码的快照包含存储的字段和索引元数据。它们不包括索引或文档值结构,并且在恢复时不可搜索。
汇总索引
保留历史数据以供分析非常有用,但由于存档大量数据的财务成本,因此经常被避免。因此,保留期是由财务现实驱动的,而不是由广泛的历史数据的有用性驱动的。汇总功能提供了一种汇总和存储历史数据的方法,以便仍然可以将其用于分析,但存储成本仅为原始数据的一小部分。
搜索和分析
搜索和分析
全文搜索
Elasticsearch 以其强大的全文搜索功能而闻名。它的速度来自于其核心的倒排索引,其强大之处来自于其可调的相关性评分、高级查询 DSL 以及广泛的搜索增强功能。
倒排索引
Elasticsearch 使用一种称为倒排索引的结构,该结构旨在允许非常快速的全文搜索。倒排索引由出现在任何文档中的所有唯一单词的列表组成,并且对于每个单词,都有一个包含该单词出现的文档的列表。要创建倒排索引,我们首先将每个文档的内容字段拆分为单独的单词(我们称之为术语或标记),创建一个包含所有唯一术语的排序列表,然后列出每个术语出现在哪个文档中。
运行时字段
运行时字段是在查询时计算的字段(读取时模式)。运行时字段可以随时引入或修改,包括在文档被索引之后,并且可以作为查询的一部分进行定义。运行时字段以与索引字段相同的接口公开给查询,因此一个字段可以在数据流的某些索引中是运行时字段,而在该数据流的其他索引中是索引字段,并且查询不需要知道这一点。虽然索引字段提供了最佳的查询性能,但运行时字段通过引入在文档被索引后更改数据结构的灵活性来补充它们。
相关性评分
相似度(相关性评分/排名模型)定义了如何对匹配文档进行评分。默认情况下,Elasticsearch 使用 BM25 相似度(一种基于 TF/IDF 的高级相似度,它具有内置的 tf 归一化,适用于短字段(如名称)),但还有许多其他相似度选项可用。
向量搜索 (ANN)
基于 Lucene 9 基于 HNSW 算法的新近似最近邻或 ANN 支持,新的 _knn_search API 端点通过向量相似性促进了更具可扩展性和性能的搜索。它通过在召回率和性能之间进行权衡来实现这一点,即通过在召回率上做出微小的妥协,在非常大的数据集上实现比现有蛮力向量相似度方法更好的性能。
查询 DSL
全文搜索需要一种强大的查询语言。Elasticsearch 提供了一种基于 JSON 的完整查询 DSL(领域特定语言)来定义查询。创建简单的查询来匹配术语和短语,或开发可以组合多个查询的复合查询。此外,可以在查询时应用过滤器,以便在对文档进行相关性评分之前将其删除。
高亮显示
突出显示器使您能够从搜索结果中的一个或多个字段中获取突出显示的片段,以便您可以向用户显示查询匹配的位置。当您请求突出显示时,响应包含每个搜索结果的额外突出显示元素,其中包括突出显示的字段和突出显示的片段。
建议器(您的意思是)
短语建议器通过在术语建议器的基础上构建额外的逻辑,为您的搜索添加了“您的意思是”功能,以选择基于 ngram 语言模型加权的整个更正短语,而不是单个标记。在实践中,这个建议器将能够根据共现和频率对选择哪些标记做出更好的决策。
查询分析器/优化器
Profile API 提供有关搜索请求中各个组件执行情况的详细计时信息。它提供了对搜索请求如何在低级别执行的洞察,因此您可以了解为什么某些请求速度慢并采取措施改进它们。
查询取消
查询取消是一项很有用的 Kibana 功能,它可以通过减少不必要的处理过载来帮助改善整体集群影响。当用户更改/更新其查询或刷新浏览器页面时,将自动取消 Elasticsearch 请求。
搜索和分析
分析
搜索数据只是一个开始。Elastic Stack 强大的分析功能允许您获取已搜索的数据并找到更深层的含义。无论是通过聚合结果、查找文档之间的关系,还是根据阈值创建警报,这一切都建立在强大的搜索功能基础之上。
指标聚合
桶聚合
管道聚合
矩阵聚合
Geohexgrid 聚合
随机采样器聚合
图形探索
Graph explore API 使您能够提取和汇总有关 Elasticsearch 索引中的文档和术语的信息。了解此 API 行为的最佳方式是使用 Kibana 中的 Graph 来探索连接。
阈值警报
创建阈值警报,以定期检查 Elasticsearch 索引中的数据在给定时间间隔内何时高于或低于某个阈值。我们的警报功能为您提供了 Elasticsearch 查询语言的全部功能,以识别您感兴趣的数据变化。
搜索和分析
机器学习
Elastic 机器学习功能 自动实时地对 Elasticsearch 数据的行为(趋势、周期性等)进行建模,以便更快地识别问题、简化根本原因分析并减少误报。
时间序列异常检测
Elastic 机器学习功能通过在数据中创建准确的正常行为基线并识别数据中的异常模式来自动化时间序列数据的分析。使用专有的机器学习算法检测、评分异常,并将其与数据中具有统计意义的影响因素相关联。
与值、计数或频率的时间偏差相关的异常
统计稀有性
群体成员的不寻常行为
异常值检测 API
无监督异常值检测使用四种不同的基于距离和密度的机器学习技术来查找哪些数据点与大多数数据点相比不寻常。使用创建数据帧分析作业 API 创建异常值检测数据帧分析作业。
搜索和分析
Elastic APM
已经在 Elasticsearch 中存储了日志和系统指标?使用 Elastic APM 扩展到应用程序指标。四行代码即可让您看到更全面的情况,从而快速解决问题并对您推送的代码感到满意。
APM 服务器
APM 服务器从 APM 代理接收数据,并将它们转换为 Elasticsearch 文档。它通过公开一个 HTTP 服务器端点来实现这一点,代理将它们收集的 APM 数据流式传输到该端点。在 APM 服务器验证并处理来自 APM 代理的事件后,服务器会将数据转换为 Elasticsearch 文档并将其存储在相应的 Elasticsearch 索引中。
APM 代理
APM 代理是用与您的服务相同的语言编写的开源库。您将它们安装到您的服务中,就像安装任何其他库一样。它们检测您的代码并在运行时收集性能数据和错误。这些数据会被缓冲一小段时间,然后发送到 APM 服务器。
APM 应用程序
查找和修复代码中的障碍归根结底就是搜索。我们在 Kibana 中专用的 APM 应用程序使您能够识别瓶颈并在代码级别精确定位有问题的更改。因此,您可以获得更好、更高效的代码,从而加快开发-测试-部署循环、加快应用程序速度并改善客户体验。
探索和可视化
探索和可视化
可视化
创建 Elasticsearch 索引中数据的可视化。Kibana 可视化基于 Elasticsearch 查询。通过使用一系列 Elasticsearch 聚合来提取和处理您的数据,您可以创建图表来显示您需要了解的趋势、峰值和下降。
仪表板
Kibana 仪表板显示可视化和搜索的集合。您可以排列、调整大小和编辑仪表板内容,然后保存仪表板以便共享。您可以在多个仪表板之间甚至到 Web 应用程序之间创建自定义钻取,以推动行动和决策。
Kibana Lens
Kibana Lens 是一款易于使用的直观界面,它通过拖放体验简化了数据可视化的过程。无论您是在探索数十亿条日志,还是从您的网站流量中发现趋势,Lens 都能让您只需点击几下即可从数据中获得洞察力,而无需事先具备 Kibana 经验。
时间序列可视化生成器
时间序列可视化构建器 (TSVB) 利用 Elasticsearch 聚合框架的全部功能,它是一个时间序列数据可视化工具,它结合了无数个聚合和管道聚合,以有意义的方式显示复杂数据。
图分析
图形分析功能使您能够发现 Elasticsearch 索引中的项目是如何相关的。您可以探索索引术语之间的连接,并查看哪些连接最有意义。这在各种应用程序中都很有用,从欺诈检测到推荐引擎。
地理空间分析
“哪里”是 Elastic Stack 许多用户的一个关键问题。无论您是在保护您的网络免受攻击者的攻击,调查特定位置的应用程序响应时间缓慢,还是仅仅是在叫车回家,地理数据和搜索都发挥着重要作用。
Vega 可视化
Prometheus 导出器
3D 图表
日历可视化
以及更多
Kibana 运行时字段编辑器
Kibana 运行时字段编辑器使用 Elasticsearch 的运行时字段功能,使分析师能够动态添加自己的自定义字段。在“索引模式”、“发现”和 Kibana Lens 中,可以使用此编辑器创建、编辑或删除运行时字段。
探索和可视化
共享与协作
使用适合您的共享选项,轻松地与您的团队成员、您的老板、他们老板、您的客户、合规经理、承包商(实际上是您喜欢的任何人)共享 Kibana 可视化。嵌入仪表板、共享链接或导出为 PDF、PNG 或 CSV 文件并作为附件发送。或者将您的仪表板和可视化组织到 Kibana 空间中。
仅仪表板模式
使用 kibana_dashboard_only_user 内置角色来限制用户登录 Kibana 时看到的内容。kibana_dashboard_only_user 角色预先配置了对 Kibana 的只读权限。当用户打开仪表板时,他们将获得有限的视觉体验。所有编辑和创建控件都将隐藏。
空间
借助 Kibana 中的空间,您可以将仪表板和其他已保存的对象组织成有意义的类别。进入特定空间后,您将只能看到属于该空间的仪表板和其他已保存的对象。启用安全功能后,您可以控制哪些用户可以访问各个空间,从而为您提供额外的保护层。
Kibana 空间的自定义横幅
自定义横幅有助于区分不同角色、团队、职能等的 Kibana 空间。为各个 Kibana 空间定制特定公告和消息,并帮助用户快速识别他们所在的空格。
PDF/PNG 报告
快速生成任何 Kibana 可视化或仪表板的报告,并将它们保存为 PDF 或 PNG。按需获取报告、安排稍后生成报告、根据指定条件触发报告以及自动与他人共享报告。
探索和可视化
Elastic 地图
借助地图应用程序,您可以大规模、快速、实时地解析地理数据。借助地图中的多图层和索引、原始文档绘图、动态客户端样式以及跨多图层的全局搜索等功能,您可以轻松地了解和监控数据。
地图图层
使用 Kibana 中的地图应用程序,将来自唯一索引的图层添加到一个视图中。由于这些图层位于同一张地图上,因此您可以实时搜索和过滤所有图层。选项包括等值线图层、热图图层、切片图层和矢量图层,甚至还有特定于用例的图层,例如用于 APM 数据的可观察性。
矢量切片
矢量切片将您的地图划分为多个切片,并提供最佳性能和平滑缩放,优于其他方法。默认情况下,所有新的多边形图层都启用了“使用矢量切片”设置。如果您更喜欢 10,000 条记录的方法,则可以在图层设置中更改缩放选项。
Elastic 地图服务(缩放级别)
Elastic 地图服务通过提供底图切片、shapefile 和可视化地理数据必不可少的关键功能,为 Kibana 中的所有地理空间可视化(包括地图应用程序)提供支持。使用 Kibana 的默认发行版,您可以在地图上放大至 18 倍。
GeoJSON 上传
虽然 GeoJSON 上传功能简单易用,但功能强大。通过直接摄取到 Elasticsearch 中,该功能使地图创建者能够将富含点、形状和内容的 GeoJSON 文件拖放到地图中,以进行即时可视化。在跟踪数据驱动的对象移动时,使用 GeoJSON 定义的边界启用电子邮件或 Web 应用程序警报。
Shapefile 上传
使用直接内置于地图应用程序中的这个简单但功能强大的上传器,将 shapefile 加载到 Elastic 中。轻松加载本地开放数据和边界以进行分析和比较。
探索和可视化
Elastic 日志
Elastic Stack 开箱即用地支持常见数据源和默认仪表板,一切只为提供开箱即用的体验。使用 Filebeat 和 Winlogbeat 传输日志,将其编入 Elasticsearch 索引,并在几分钟内在 Kibana 中将其全部可视化。
日志传送器 (Filebeat)
Filebeat 提供了一种轻量级的方式来转发和集中日志和文件,从而帮助您简化简单的事情。Filebeat 附带内部模块(auditd、Apache、NGINX、System、MySQL 等),这些模块通过单个命令简化了常见日志格式的收集、解析和可视化。
探索和可视化
Elastic 指标
借助Elastic 指标,轻松跟踪 CPU 使用率、系统负载、内存使用率和网络流量等高级指标,以帮助您评估服务器、容器和服务的整体运行状况。
指标传送器 (Metricbeat)
Metricbeat 是一种轻量级传送器,您可以将其安装在服务器上,以定期从操作系统和服务器上运行的服务收集指标。从 CPU 到内存,从 Redis 到 NGINX,Metricbeat 是一种发送系统和服务统计信息的轻量级方式。
探索和可视化
Elastic 运行时间
借助由开源 Heartbeat 提供支持的Elastic Uptime,您的可用性数据可以与日志、指标和 APM 提供的丰富上下文协同工作,从而更轻松地连接各个点、关联活动并快速解决问题。
运行时间监控器 (Heartbeat)
Heartbeat 是一种轻量级守护程序,您可以将其安装在远程服务器上,以定期检查服务的运行状况并确定它们是否可用。Heartbeat 摄取服务器数据,然后这些数据将显示在 Kibana 的 Uptime 仪表板和应用程序中。
运行时间警报集成
直接在 Uptime 应用程序中根据您的可用性数据轻松创建基于阈值的警报,并以您选择的方式(文档、日志、Slack、简单的 Webhook 等)接收通知。
证书监控
直接在 Uptime 应用程序中检查或在您的 SSL 或 TLS 证书即将过期时收到通知,并保持您的服务可用。
探索和可视化
Elastic 安全
Elastic Security 使安全团队能够预防、检测和响应威胁。它可以阻止主机上的勒索软件和恶意软件,自动检测威胁和异常,并通过直观的流程、内置案例管理以及与 SOAR 和票务平台的集成来简化响应。
Elastic 通用模式
使用 Elastic 通用架构 (ECS) 统一分析来自不同来源的数据。检测规则、机器学习作业、仪表板和其他安全内容可以更广泛地应用,搜索可以更精细地制定,字段名称也更容易记住。
主机安全分析
Elastic Security 支持对来自 Elastic Agent 和 Elastic Beats 以及 Carbon Black、CrowdStrike 和 Microsoft Defender for Endpoint 等技术的端点数据进行交互式分析。使用“会话视图”探索 Shell 活动,使用“分析器”探索进程。
网络安全分析
Elastic Security 通过交互式地图、图形、事件表等实现网络安全监控。它支持多种网络安全解决方案,包括 Suricata 和 Zeek 等 OSS 技术、思科 ASA、Palo Alto Networks 和 Check Point 等供应商的设备,以及 AWS、Azure、GCP 和 Cloudflare 等云服务。
用户安全分析
Elastic Security 在实体分析方面表现出色。该解决方案提供了对用户活动的可见性,帮助从业者解决内部威胁、帐户接管、权限滥用和相关向量。环境范围的收集支持安全监控,用户数据显示在精选的可视化和表格中。用户上下文显示在搜索或调查的流程中,可以快速访问更多详细信息。
案例管理
内置的案例管理工作流程增强了对检测和响应的控制。Elastic Security 使分析师能够轻松地打开、更新、标记、评论、关闭案例,并将案例与外部系统集成。开放的 API 和对 IBM Resilient、Jira、Swimlane 和 ServiceNow 的预构建支持,可实现与现有工作流程的一致性。
检测引擎
检测引擎执行基于技术的威胁检测,并在出现高价值异常时发出警报。由 Elastic Security 研究工程师开发和测试的预构建规则可实现快速采用。可以为任何格式化为 Elastic 通用模式 (ECS) 的数据创建自定义规则。
行为勒索软件防御
Elastic Security 通过在 Elastic Agent 上执行行为分析来防止勒索软件。该功能通过分析来自低级系统进程的数据来阻止 Windows 系统上的勒索软件攻击,并且对各种广泛传播的勒索软件家族有效。
恶意行为防护
Elastic Agent 上的恶意行为防护可在端点阻止高级威胁,为 Linux、Windows 和 macOS 主机提供新的防护层。恶意行为防护通过动态阻止执行后行为来支持现有的恶意软件和勒索软件防护,从而阻止高级威胁的发生。
反恶意软件
无特征码恶意软件防护可立即阻止 Linux、Windows 和 macOS 主机上的恶意可执行文件。该功能通过 Elastic Agent 提供,它还可以收集安全数据并启用基于主机的检查和响应。基于 Kibana 的管理简化了部署和管理。
主机内存保护
Elastic Agent 上的内存防护可阻止许多通过 shellcode 进行进程注入的技术,从而阻止线程执行劫持、异步过程调用、进程空心化和进程 Doppelgänging 等子技术。
内存威胁防护
Osquery 集中式管理
Elastic Security 使用户能够轻松地在每个端点上部署 osquery,从而简化 Linux、Windows 和 macOS 主机上的搜寻和主机检查。该解决方案提供对丰富主机数据的直接访问,可以使用预构建或自定义 SQL 查询进行检索,以便在 Elastic Security 中进行分析。
基于主机的网络活动分析
使用 Elastic Agent 从无限数量的主机收集网络活动。对其进行分析以揭示防火墙无法看到的网络边界内外的流量,帮助安全团队解决恶意行为,如水坑攻击、数据泄露和 DNS 攻击。网络数据包分析器集成包括 Npcap 的免费商业许可证,Npcap 是广泛部署的 Windows 数据包嗅探库,可在每个主机上实现网络可见性,无论操作系统是什么。
云工作负载会话审计
使用由 eBPF 提供支持的轻量级代理保护混合云工作负载和云原生应用程序的安全。使用预构建和自定义检测规则以及机器学习模型自动发现运行时威胁。使用显示丰富上下文的类似终端的视图进行调查。
KSPM 数据收集和 CIS 安全状况发现
全面了解多云环境中的安全状况。查看调查结果,根据 CIS 控制措施对调查结果进行基准测试,并遵循补救指南以推动快速改进。