Elasticsearch 功能

集群是由一个或多个节点（服务器）组成的集合，这些节点共同保存您的所有数据，并在所有节点上提供联合索引和搜索功能。Elasticsearch 集群具有主分片和副本分片，以便在节点宕机时提供故障转移。当主分片宕机时，副本分片将取代它。

当一个节点因任何原因（无论是故意的还是无意的）离开集群时，主节点会做出反应，用一个副本替换该节点并重新平衡分片。这些操作旨在通过确保尽快完全复制每个分片来保护集群免受数据丢失。

Elasticsearch 集群中的主节点将自动决定将哪些分片分配给哪些节点，以及何时在节点之间移动分片以重新平衡集群。

随着使用量的增长，Elasticsearch 会随之扩展。添加更多数据，添加更多用例，当您开始耗尽资源时，只需向集群添加另一个节点即可提高其容量和可靠性。当您向集群添加更多节点时，它会自动分配副本分片，以便您为未来做好准备。

您可以使用自定义节点属性作为感知属性，以使 Elasticsearch 在分配分片时能够考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点位于同一物理服务器、同一机架或同一区域中，它可以分发主分片及其副本分片，以最大程度地降低在发生故障时丢失所有分片副本的风险。

跨集群复制 (CCR) 功能可以将远程集群中的索引复制到本地集群。此功能可用于常见的生产用例。

跨数据中心复制一段时间以来一直是 Elasticsearch 上关键任务应用程序的要求，并且以前通过其他技术部分解决了。借助 Elasticsearch 中的跨集群复制，无需其他技术即可跨数据中心、地理位置或 Elasticsearch 集群复制数据。

使用云对象存储的 Elasticsearch 集群现在可以从 ES 节点和对象存储传输某些数据（如分片复制和分片恢复），而不是在 ES 节点之间传输数据，从而降低数据传输和存储成本。

索引生命周期管理 (ILM) 允许用户定义和自动化策略，以控制索引在四个阶段的每个阶段应保留多长时间，以及在每个阶段对索引采取的操作集。这允许更好地控制运营成本，因为数据可以放在不同的资源层中。

数据层是通过节点角色属性将数据划分为热、温、冷节点的正式方式，该属性自动定义节点的索引生命周期管理策略。通过分配热、温、冷节点角色，您可以极大地简化和自动化将数据从成本更高、性能更高的存储转移到成本更低、性能更低的存储的过程，所有这些都不会影响洞察力。

作为后台快照管理器，快照生命周期管理 (SLM) API 允许管理员定义创建 Elasticsearch 集群快照的节奏。借助专用 UI，SLM 使用户能够配置 SLM 策略的保留期，并自动创建、安排和删除快照，从而确保以足够频繁的频率创建给定集群的适当备份，以便能够根据客户 SLA 进行恢复。

快照是从正在运行的 Elasticsearch 集群创建的备份。您可以创建单个索引或整个集群的快照，并将快照存储在共享文件系统上的存储库中。还有一些插件支持远程存储库。

可搜索快照使您能够直接查询快照，其时间仅为完成典型快照恢复所需时间的一小部分。这是通过仅读取每个快照索引中完成请求所需的部分来实现的。与冷层一起，可搜索快照可以通过在基于对象的存储系统（如 Amazon S3、Azure 存储或 Google Cloud 存储）中备份副本分片，同时仍然提供对它们的完全搜索访问权限，从而显着降低数据存储成本。

保留历史数据以供分析非常有用，但由于存档大量数据的财务成本，因此通常会避免这样做。因此，保留期是由财务现实驱动的，而不是由广泛的历史数据的有用性驱动的。汇总功能提供了一种汇总和存储历史数据的方法，以便仍然可以将其用于分析，但存储成本仅为原始数据的一小部分。

数据流是一种方便且可扩展的方式来摄取、搜索和管理持续生成的时间序列数据。

变换是二维表格数据结构，使索引数据更易于理解。变换执行聚合，将您的数据透视到一个新的以实体为中心的索引中。通过转换和汇总数据，可以以其他方式对其进行可视化和分析，包括作为其他机器学习分析的来源。

升级助手 API 允许您检查 Elasticsearch 集群的升级状态，并对在上一个主要版本中创建的索引进行重新索引。该助手可帮助您为下一个主要版本的 Elasticsearch 做好准备。

API 密钥的管理需要足够灵活，以允许用户管理自己的密钥，限制对其各自角色的访问。通过专用 UI，用户可以创建 API 密钥并在与 Elasticsearch 交互时使用它们来提供长期凭据，这在自动化脚本或与其他软件的工作流集成中很常见。

某些设置很敏感，依靠文件系统权限来保护其值是不够的。对于这种用例，Elasticsearch 提供了一个密钥库来防止对敏感集群设置的不必要访问。密钥库可以选择使用密码进行保护，以提高安全性。

可以通过使用 SSL/TLS 的流量加密、节点身份验证证书等来阻止对 Elasticsearch 节点数据的基于网络的攻击。

虽然 Elastic Stack 没有默认实现静态加密，但建议在所有主机上配置磁盘级加密。此外，快照目标还必须确保数据在静态时进行加密。

基于角色的访问控制 (RBAC) 使您能够通过将权限分配给角色并将角色分配给用户或组来授权用户。

Elastic Stack 的安全功能还提供了一种基于属性的访问控制 (ABAC) 机制，使您能够使用属性来限制对搜索查询和聚集中文档的访问。这允许您在角色定义中实现访问策略，以便用户只有在拥有所有必需属性的情况下才能读取特定文档。

字段级安全性限制用户有权读取的字段。特别是，它限制了可以从基于文档的读取 API 访问哪些字段。

您可以启用审计以跟踪与安全相关的事件，例如身份验证失败和连接被拒绝。记录这些事件使您能够监控集群的可疑活动，并在发生攻击时提供证据。

除了尝试加入集群的其他节点之外，您还可以对应用程序客户端、节点客户端或传输客户端应用 IP 过滤。如果节点的 IP 地址在黑名单中，则 Elasticsearch 安全功能允许连接到 Elasticsearch，但会立即断开连接，并且不会处理任何请求。

xpack.security.transport.filter.allow: "192.168.0.1"
xpack.security.transport.filter.deny: "192.168.0.0/24"

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

xpack.security.transport.filter.allow: "2001:0db8:1234::/48"
xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

Elastic Stack 的安全功能通过使用领域和一个或多个基于令牌的身份验证服务来验证用户身份。领域用于根据身份验证令牌解析和验证用户。安全功能提供了许多内置领域。

Elastic Stack 支持使用 Elasticsearch 作为后端服务，通过 SAML 单点登录 (SSO) 登录 Kibana。SAML 身份验证允许用户使用外部身份提供程序（例如 Okta 或 Auth0）登录 Kibana。

如果您使用的身份验证系统在 Elastic Stack 的安全功能中没有默认支持，则可以创建自定义领域来验证用户身份。

大小企业都信任 Elastic Stack 来处理其警报需求是有原因的。通过以任何格式从任何来源可靠且安全地摄取数据，分析师可以实时搜索、分析和可视化关键数据，所有这些都具有定制的、可靠的警报。

将警报与电子邮件、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、xMatters 和 Slack 的内置集成相关联。通过 webhook 输出与任何其他第三方系统集成。

Elasticsearch 使用标准的 RESTful API 和 JSON。我们还使用多种语言构建和维护客户端，例如 Java、Python、.NET、SQL 和 PHP。此外，我们的社区还贡献了许多其他内容。它们易于使用，使用起来很自然，而且就像 Elasticsearch 一样，不会限制您可能想对它们做什么。

Elasticsearch 提供了一个基于 JSON 的完整查询 DSL（领域特定语言）来定义查询。查询 DSL 为全文搜索提供了强大的搜索选项，包括词条和短语匹配、模糊性、通配符、正则表达式、嵌套查询、地理查询等。

GET /_search
{
    "query": {
        "match" : {
            "message" : {
                "query" : "this is a test",
                "operator" : "and"
            }
        }
    }
}

Elasticsearch SQL 是一项允许针对 Elasticsearch 实时执行类 SQL 查询的功能。无论是使用 REST 接口、命令行还是 JDBC，任何客户端都可以使用 SQL 在 Elasticsearch 内部原生搜索和聚合数据。

事件查询语言 (EQL) 能够查询与特定条件匹配的事件序列，专为安全分析等用例而构建。

Elasticsearch SQL JDBC 驱动程序是一个功能丰富、功能齐全的 Elasticsearch JDBC 驱动程序。它是一个 Type 4 驱动程序，这意味着它是一个独立于平台、独立的、直接连接数据库的纯 Java 驱动程序，可以将 JDBC 调用转换为 Elasticsearch SQL。

Elasticsearch SQL ODBC 驱动程序是一个功能丰富的 Elasticsearch 3.80 ODBC 驱动程序。它是一个核心级驱动程序，公开了可通过 Elasticsearch SQL ODBC API 访问的所有功能，并将 ODBC 调用转换为 Elasticsearch SQL。

Tableau Connector for Elasticsearch 使 Tableau Desktop 和 Tableau Server 用户可以轻松访问 Elasticsearch 中的数据。

Elasticsearch 提供了许多工具，用于从命令行配置安全性和执行其他任务。

使用文档 API 对单个文档或跨多个文档执行 CRUD 操作（创建、读取、更新、删除）。

Elasticsearch 搜索 API 允许您实现的不仅仅是全文搜索。它们还可以帮助您实现建议器（术语、短语、完成等），执行排名评估，甚至提供有关文档为何在搜索中返回或未返回的反馈。

聚合框架有助于根据搜索查询提供聚合数据。它基于称为聚合的简单构建块，可以组合这些构建块以构建数据的复杂摘要。聚合可以看作是在一组文档上构建分析信息的 工作单元。

使用摄取 API 对您的数据管道执行 CRUD 操作，或使用模拟管道 API 对文档集执行特定管道。

使用各种与管理相关的 API 以编程方式管理您的 Elasticsearch 集群。有一些 API 用于管理索引和映射、集群和节点、许可和安全等等。如果您需要以人类可读的格式获得结果，只需使用 cat API。

Elasticsearch for Apache Hadoop (Elasticsearch-Hadoop 或 ES-Hadoop) 是一个免费、开源、独立、自包含的小型库，允许 Hadoop 作业与 Elasticsearch 交互。使用它可以轻松构建动态的嵌入式搜索应用程序来为您的 Hadoop 数据提供服务，或使用全文、地理空间查询和聚合执行深度、低延迟的分析。

Elasticsearch for Apache Hadoop 为 Apache Hive 提供一流的支持，Apache Hive 是 Hadoop 的数据仓库系统，可以轻松地对存储在与 Hadoop 兼容的文件系统中的大型数据集进行数据汇总、即席查询和分析。

Elasticsearch for Apache Hadoop 为 Apache Spark 提供一流的支持，Apache Spark 是一个快速、通用的集群计算系统。它提供 Java、Scala 和 Python 中的高级 API，以及支持通用执行图的优化引擎。

由于其 JDBC 和 ODBC 接口，各种第三方 BI 应用程序可以使用 Elasticsearch SQL 功能。

作为一个免费、开源的、语言无关的应用程序，使用插件和集成来扩展 Elasticsearch 的功能很容易。插件是一种以自定义方式增强核心 Elasticsearch 功能的方法，而集成是外部工具或模块，可以更轻松地使用 Elasticsearch。

入门从未如此简单。只需将 Elasticsearch 和 Kibana 作为存档或使用包管理器下载并安装即可。您将立即对数据进行索引、分析和可视化。使用默认发行版，您还可以通过 30 天免费试用版测试白金功能，例如机器学习、安全、图形分析等。

Elastic Cloud 是我们不断增长的 SaaS 产品系列，可轻松在云中部署、运营和扩展 Elastic 产品和解决方案。从易于使用的托管 Elasticsearch 体验到强大的开箱即用搜索解决方案，Elastic Cloud 是您无缝使用 Elastic 的跳板。免费试用任何 Elastic Cloud 产品 14 天 - 无需信用卡。

借助 Elastic Cloud Enterprise (ECE)，您可以 在任何基础架构上以任何规模配置、管理和监控 Elasticsearch 和 Kibana，同时从单个控制台管理所有内容。选择您运行 Elasticsearch 和 Kibana 的位置：物理硬件、虚拟环境、私有云、公共云中的私有区域或仅仅是公共云（例如 Google、Azure、AWS）。我们已经涵盖了所有这些。

Elastic Cloud on Kubernetes (ECK) 建立在 Kubernetes Operator 模式的基础上，扩展了基本的 Kubernetes 编排功能，以支持在 Kubernetes 上设置和管理 Elasticsearch 和 Kibana。借助 Elastic Cloud on Kubernetes，可以简化在 Kubernetes 中运行 Elasticsearch 的部署、升级、快照、扩展、高可用性、安全等流程。

使用官方的 Elasticsearch 和 Kibana Helm Charts 在几分钟内部署。

使用 Docker Hub 上的官方容器在 Docker 上运行 Elasticsearch 和 Kibana。