Elasticsearch 功能

集群是一个或多个节点（服务器）的集合，它们共同保存您的所有数据，并在所有节点上提供联合索引和搜索功能。 Elasticsearch 集群具有主分片和副本分片，以便在节点发生故障时提供故障转移。当主分片出现故障时，副本将取而代之。

当节点因任何原因（无论是故意的还是其他的）离开集群时，主节点会通过用副本替换该节点并重新平衡分片来做出反应。这些操作旨在保护集群免受数据丢失，方法是确保尽快完全复制每个分片。

Elasticsearch 集群中的主节点将自动决定将哪些分片分配给哪些节点，以及何时在节点之间移动分片以重新平衡集群。

随着您的使用量增长，Elasticsearch 会与您一起扩展。添加更多数据，添加更多用例，当您开始耗尽资源时，只需向集群添加另一个节点即可提高其容量和可靠性。并且当您向集群添加更多节点时，它会自动分配副本分片，以便为未来做好准备。

您可以使用自定义节点属性作为感知属性，使 Elasticsearch 在分配分片时考虑您的物理硬件配置。如果 Elasticsearch 知道哪些节点在同一物理服务器、同一机架或同一区域中，它可以分发主分片及其副本分片，以最大限度地减少在发生故障时丢失所有分片副本的风险。

跨集群复制 (CCR) 功能支持将远程集群中的索引复制到本地集群。此功能可用于常见的生产用例。

跨数据中心复制一直是 Elasticsearch 上任务关键型应用程序的要求，以前部分是通过其他技术解决的。借助 Elasticsearch 中的跨集群复制，无需其他技术即可跨数据中心、地理区域或 Elasticsearch 集群复制数据。

使用云对象存储的 Elasticsearch 集群现在可以传输某些数据，例如来自 ES 节点和对象存储的分片复制和分片恢复，而不是在 ES 节点之间传输数据，从而降低数据传输和存储成本。

索引生命周期管理 (ILM) 允许用户定义和自动化策略，以控制索引在四个阶段中的每个阶段的生命周期，以及在每个阶段对索引执行的一组操作。这可以更好地控制运营成本，因为可以将数据放入不同的资源层。

数据层是通过节点角色属性将数据划分为热节点、温节点和冷节点的正式方法，该属性会自动定义节点的索引生命周期管理策略。通过分配热节点、温节点和冷节点角色，您可以大大简化和自动化将数据从成本较高、性能较高的存储移动到成本较低、性能较低的存储的过程，而不会影响洞察力。

作为后台快照管理器，快照生命周期管理 (SLM) API 允许管理员定义对 Elasticsearch 集群进行快照的频率。借助专用 UI，SLM 使用户能够配置 SLM 策略的保留期限，并自动创建、计划和删除快照，从而确保以足够的频率对给定集群进行适当的备份，以便能够按照客户 SLA 进行恢复。

快照是从正在运行的 Elasticsearch 集群中进行的备份。您可以对单个索引或整个集群进行快照，并将快照存储在共享文件系统上的存储库中。还有可用的插件支持远程存储库。

可搜索快照使您能够直接查询快照，而完成典型的从快照恢复所需的时间仅为一小部分。这是通过仅读取每个快照索引的必要部分来完成请求来实现的。结合冷层，可搜索快照可以通过在基于对象的存储系统（如 Amazon S3、Azure Storage 或 Google Cloud Storage）中备份副本分片，同时仍然提供对它们的完全搜索访问权限，从而显著降低数据存储成本。

保留历史数据进行分析非常有用，但由于归档大量数据的财务成本通常会避免这样做。因此，保留期限是由财务现实而非广泛历史数据的有用性驱动的。汇总功能提供了一种总结和存储历史数据的方法，以便仍然可以将其用于分析，但存储成本仅为原始数据的一小部分。

数据流是一种方便且可扩展的方式，用于摄取、搜索和管理连续生成的时间序列数据。

转换是二维表格数据结构，可使索引数据更易于理解。转换执行聚合，将您的数据透视到新的以实体为中心的索引中。通过转换和总结您的数据，可以以其他方式可视化和分析数据，包括作为其他机器学习分析的来源。

升级助手 API 允许您检查 Elasticsearch 集群的升级状态，并为在以前的主要版本中创建的索引重建索引。该助手可帮助您为下一个主要版本的 Elasticsearch 做准备。

API 密钥的管理需要足够灵活，以允许用户管理自己的密钥，从而限制对其各自角色的访问。通过专用 UI，用户可以创建 API 密钥，并使用它们来提供与 Elasticsearch 交互时的长期凭据，这在自动化脚本或与其他软件的工作流集成中很常见。

某些设置很敏感，并且仅依赖文件系统权限来保护它们的值是不够的。对于此用例，Elasticsearch 提供了一个密钥库，以防止对敏感的集群设置进行不必要的访问。密钥库可以选择使用密码保护以提高安全性。

通过使用 SSL/TLS 进行流量加密、节点身份验证证书等，可以阻止对 Elasticsearch 节点数据的基于网络的攻击。

虽然 Elastic Stack 不会开箱即用地实现静态数据加密，但建议在所有主机上配置磁盘级加密。此外，快照目标还必须确保静态数据已加密。

基于角色的访问控制 (RBAC) 使您可以通过将权限分配给角色并将角色分配给用户或组来授权用户。

Elastic Stack 的安全功能还提供基于属性的访问控制 (ABAC) 机制，使您可以使用属性来限制对搜索查询和聚合中的文档的访问。这允许您在角色定义中实施访问策略，以便用户只有在拥有所有必需属性时才能读取特定文档。

字段级安全性限制用户具有读取访问权限的字段。特别是，它限制了可以从基于文档的读取 API 访问哪些字段。

您可以启用审计功能，以跟踪与安全相关的事件，例如身份验证失败和连接被拒绝。记录这些事件使您能够监控集群中的可疑活动，并在发生攻击时提供证据。

您可以对应用程序客户端、节点客户端或传输客户端应用 IP 过滤，以及尝试加入集群的其他节点。如果节点的 IP 地址在黑名单上，Elasticsearch 安全功能允许连接到 Elasticsearch，但会立即断开连接，并且不处理任何请求。

xpack.security.transport.filter.allow: "192.168.0.1"
xpack.security.transport.filter.deny: "192.168.0.0/24"

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

xpack.security.transport.filter.allow: "2001:0db8:1234::/48"
xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

Elastic Stack 的安全功能通过使用 realm 和一个或多个基于令牌的身份验证服务来验证用户身份。realm 用于根据身份验证令牌解析和验证用户。安全功能提供了许多内置的 realm。

Elastic Stack 支持使用 Elasticsearch 作为后端服务将 SAML 单点登录 (SSO) 集成到 Kibana 中。SAML 身份验证允许用户使用外部身份提供商（例如 Okta 或 Auth0）登录到 Kibana。

如果您使用的身份验证系统不受 Elastic Stack 安全功能的开箱即用支持，您可以创建自定义 realm 来验证用户身份。

大型和小型组织都信任 Elastic Stack 来处理他们的警报需求是有原因的。通过可靠且安全地从任何来源、以任何格式摄取数据，分析师可以实时搜索、分析和可视化关键数据，所有这些都具有自定义的、可靠的警报。

将警报与内置的电子邮件、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、xMatters 和 Slack 集成。通过 Webhook 输出与任何其他第三方系统集成。

Elasticsearch 使用标准的 RESTful API 和 JSON。我们还构建和维护多种语言的客户端，例如 Java、Python、.NET、SQL 和 PHP。此外，我们的社区还贡献了更多。它们易于使用，感觉自然，而且就像 Elasticsearch 一样，不会限制您可能想用它们做什么。

Elasticsearch 提供了一个基于 JSON 的完整查询 DSL（领域特定语言）来定义查询。查询 DSL 为全文搜索提供了强大的搜索选项，包括词项和短语匹配、模糊性、通配符、正则表达式、嵌套查询、地理查询等等。

GET /_search
{
    "query": {
        "match" : {
            "message" : {
                "query" : "this is a test",
                "operator" : "and"
            }
        }
    }
}

Elasticsearch SQL 是一项允许针对 Elasticsearch 实时执行类似 SQL 的查询的功能。无论是使用 REST 接口、命令行还是 JDBC，任何客户端都可以使用 SQL 在 Elasticsearch 内部本地搜索和聚合数据。

凭借查询与特定条件匹配的事件序列的功能，事件查询语言 (EQL) 专为安全分析等用例而构建。

Elasticsearch SQL JDBC 驱动程序是 Elasticsearch 的功能丰富的完整 JDBC 驱动程序。它是 Type 4 驱动程序，这意味着它是一个平台独立的、独立的、直接到数据库的纯 Java 驱动程序，可将 JDBC 调用转换为 Elasticsearch SQL。

Elasticsearch SQL ODBC 驱动程序是 Elasticsearch 的功能丰富的 3.80 ODBC 驱动程序。它是一个核心级驱动程序，公开了通过 Elasticsearch SQL ODBC API 访问的所有功能，将 ODBC 调用转换为 Elasticsearch SQL。

适用于 Elasticsearch 的 Tableau 连接器使 Tableau Desktop 和 Tableau Server 用户可以轻松访问 Elasticsearch 中的数据。

Elasticsearch 提供了许多用于从命令行配置安全性和执行其他任务的工具。

使用文档 API 对单个文档或跨多个文档执行 CRUD 操作（创建、读取、更新、删除）。

Elasticsearch 搜索 API 允许您实现的不仅仅是全文搜索。它们还可以帮助您实现建议器（词项、短语、完成等等）、执行排名评估，甚至提供有关文档为什么被搜索返回或未返回的反馈。

聚合框架有助于提供基于搜索查询的聚合数据。它基于简单的构建块，称为聚合，可以组合这些聚合以构建复杂的数据摘要。聚合可以看作是在一组文档上构建分析信息的单位工作。

使用 ingest API 对您的数据管道执行 CRUD 操作，或者使用模拟管道 API 对一组文档执行特定的管道。

使用各种与管理相关的 API 以编程方式管理您的 Elasticsearch 集群。有用于管理索引和映射、集群和节点、许可和安全性的 API，等等。如果您需要以人类可读的格式显示结果，只需使用 cat API。

Elasticsearch for Apache Hadoop（Elasticsearch-Hadoop 或 ES-Hadoop）是一个开源的、独立的、自包含的小型库，允许 Hadoop 作业与 Elasticsearch 交互。使用它可以轻松构建动态的、嵌入式的搜索应用程序来为您的 Hadoop 数据提供服务，或者使用全文、地理空间查询和聚合来执行深度、低延迟的分析。

Elasticsearch for Apache Hadoop 为 Apache Hive 提供一流的支持，Apache Hive 是 Hadoop 的数据仓库系统，它有助于轻松进行数据汇总、临时查询以及对存储在与 Hadoop 兼容的文件系统中的大型数据集进行分析。

Elasticsearch for Apache Hadoop 为 Apache Spark 提供一流的支持，Apache Spark 是一个快速且通用的集群计算系统。它在 Java、Scala 和 Python 中提供高级 API，以及一个支持通用执行图的优化引擎。

由于其 JDBC 和 ODBC 接口，各种第三方 BI 应用程序都可以使用 Elasticsearch SQL 功能。

作为一个开源的、与语言无关的应用程序，通过插件和集成很容易扩展 Elasticsearch 的功能。插件是一种以自定义方式增强核心 Elasticsearch 功能的方法，而集成是使 Elasticsearch 更易于使用的外部工具或模块。

入门比以往任何时候都容易。只需下载并安装 Elasticsearch 和 Kibana 作为存档或使用软件包管理器即可。您将立即开始索引、分析和可视化数据。通过默认发行版，您还可以使用免费的 30 天试用版测试机器学习、安全、图形分析等 Platinum 功能。

Elastic Cloud 是我们不断增长的 SaaS 产品系列，它使您可以轻松地在云中部署、操作和扩展 Elastic 产品和解决方案。从易于使用托管和管理的 Elasticsearch 体验到强大、开箱即用的搜索解决方案，Elastic Cloud 是您无缝地让 Elastic 为您工作的跳板。免费试用我们的任何 Elastic Cloud 产品 14 天 — 无需信用卡。

借助 Elastic Cloud Enterprise (ECE)，您可以在任何规模、任何基础设施上配置、管理和监控 Elasticsearch 和 Kibana，同时从单个控制台管理所有内容。选择您运行 Elasticsearch 和 Kibana 的位置：物理硬件、虚拟环境、私有云、公共云中的私有区域或仅仅是普通的公共云（例如，Google、Azure、AWS）。我们涵盖了所有这些。

Elastic Cloud on Kubernetes (ECK) 基于 Kubernetes Operator 模式构建，扩展了基本的 Kubernetes 编排功能，以支持在 Kubernetes 上设置和管理 Elasticsearch 和 Kibana。借助 Elastic Cloud on Kubernetes，简化了在 Kubernetes 中运行 Elasticsearch 的部署、升级、快照、扩展、高可用性、安全性等流程。

使用官方 Elasticsearch 和 Kibana Helm Charts 在几分钟内完成部署。

使用 Docker Hub 中的官方容器在 Docker 上运行 Elasticsearch 和 Kibana。