使用 Debian 软件包安装 Elasticsearch

编辑

使用 Debian 软件包安装 Elasticsearch编辑

Elasticsearch 的 Debian 软件包可以从我们的网站下载,也可以从我们的APT 存储库下载。它可以用来在任何基于 Debian 的系统上安装 Elasticsearch,例如 Debian 和 Ubuntu。

此软件包包含免费和订阅功能。开始 30 天试用,体验所有功能。

您可以在下载 Elasticsearch页面上找到最新稳定版本的 Elasticsearch。其他版本可以在过往版本页面上找到。

Elasticsearch 包含 JDK 维护者提供的捆绑版OpenJDK (GPLv2+CE)。要使用您自己的 Java 版本,请参阅JVM 版本要求

导入 Elasticsearch PGP 密钥编辑

我们使用 Elasticsearch 签名密钥(PGP 密钥D88E42B4,可从https://pgp.mit.edu获取)对我们所有的软件包进行签名,其指纹为

4609 5ACC 8548 582C 1A26 99A9 D27D 666C D88E 42B4

下载并安装公钥

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg

从 APT 存储库安装编辑

在继续之前,您可能需要在 Debian 上安装apt-transport-https软件包

sudo apt-get install apt-transport-https

将存储库定义保存到/etc/apt/sources.list.d/elastic-8.x.list

echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list

这些说明不使用add-apt-repository,原因如下

  1. add-apt-repository将条目添加到系统/etc/apt/sources.list文件,而不是/etc/apt/sources.list.d中干净的每个存储库文件
  2. add-apt-repository不是许多发行版默认安装的一部分,需要许多非默认依赖项。
  3. 旧版本的add-apt-repository总是添加一个deb-src条目,这将导致错误,因为我们不提供源代码包。如果您添加了deb-src条目,您将在删除deb-src行之前看到如下错误

    Unable to find expected entry 'main/source/Sources' in Release file
    (Wrong sources.list entry or malformed file)

您可以使用以下命令安装 Elasticsearch Debian 软件包

sudo apt-get update && sudo apt-get install elasticsearch

如果同一个 Elasticsearch 存储库存在两个条目,您将在apt-get update期间看到如下错误

Duplicate sources.list entry https://artifacts.elastic.co/packages/8.x/apt/ ...`

检查/etc/apt/sources.list.d/elasticsearch-8.x.list中是否存在重复条目,或者在/etc/apt/sources.list.d/中的文件和/etc/apt/sources.list文件中找到重复条目。

在基于 systemd 的发行版上,安装脚本将尝试设置内核参数(例如,vm.max_map_count);您可以通过屏蔽 systemd-sysctl.service 单元来跳过此步骤。

手动下载并安装 Debian 软件包编辑

Elasticsearch v8.14.2 的 Debian 软件包可以从网站下载,并按如下方式安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.14.2-amd64.deb
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.14.2-amd64.deb.sha512
shasum -a 512 -c elasticsearch-8.14.2-amd64.deb.sha512 
sudo dpkg -i elasticsearch-8.14.2-amd64.deb

比较下载的 Debian 软件包的 SHA 和发布的校验和,应该输出elasticsearch-{version}-amd64.deb: OK

启动启用了安全性的 Elasticsearch编辑

安装 Elasticsearch 时,默认情况下会启用和配置安全功能。安装 Elasticsearch 时,会自动进行以下安全配置

  • 启用身份验证和授权,并为elastic内置超级用户生成密码。
  • 为传输层和 HTTP 层生成 TLS 证书和密钥,并使用这些密钥和证书启用和配置 TLS。

密码、证书和密钥会输出到您的终端。您可以使用elasticsearch-reset-password命令重置elastic用户的密码。

我们建议将elastic密码作为环境变量存储在您的 shell 中。例如

export ELASTIC_PASSWORD="your_password"

重新配置节点以加入现有集群编辑

安装 Elasticsearch 时,安装过程默认配置单节点集群。如果您希望节点加入现有集群,请在首次启动新节点*之前*在现有节点上生成注册令牌。

  1. 在现有集群的任何节点上,生成节点注册令牌

    /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node
  2. 复制注册令牌,该令牌将输出到您的终端。
  3. 在新 Elasticsearch 节点上,将注册令牌作为参数传递给elasticsearch-reconfigure-node工具

    /usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <enrollment-token>

    Elasticsearch 现在配置为加入现有集群。

  4. 使用systemd启动新节点.

启用系统索引的自动创建编辑

某些商业功能会在 Elasticsearch 中自动创建索引。默认情况下,Elasticsearch 配置为允许自动创建索引,并且不需要额外的步骤。但是,如果您在 Elasticsearch 中禁用了自动创建索引,则必须在elasticsearch.yml中配置action.auto_create_index,以允许商业功能创建以下索引

action.auto_create_index: .monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*

如果您正在使用LogstashBeats,那么您很可能需要在action.auto_create_index设置中添加其他索引名称,确切的值将取决于您的本地配置。如果您不确定您的环境的正确值,您可以考虑将该值设置为*,这将允许自动创建所有索引。

使用systemd运行 Elasticsearch编辑

要将 Elasticsearch 配置为在系统启动时自动启动,请运行以下命令

sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable elasticsearch.service

可以按如下方式启动和停止 Elasticsearch

sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service

这些命令不提供关于 Elasticsearch 是否成功启动的反馈。相反,此信息将写入位于/var/log/elasticsearch/的日志文件中。

如果您已经对 Elasticsearch 密钥库进行了密码保护,则需要使用本地文件和 systemd 环境变量为systemd提供密钥库密码。此本地文件在其存在期间应受到保护,并且在 Elasticsearch 启动并运行后可以安全删除。

echo "keystore_password" > /path/to/my_pwd_file.tmp
chmod 600 /path/to/my_pwd_file.tmp
sudo systemctl set-environment ES_KEYSTORE_PASSPHRASE_FILE=/path/to/my_pwd_file.tmp
sudo systemctl start elasticsearch.service

默认情况下,Elasticsearch 服务不会在systemd日志中记录信息。要启用journalctl日志记录,必须从elasticsearch.service文件的ExecStart命令行中删除--quiet选项。

启用systemd日志记录后,可以使用journalctl命令获取日志记录信息

要跟踪日志

sudo journalctl -f

要列出 elasticsearch 服务的日志条目

sudo journalctl --unit elasticsearch

要列出从给定时间开始的 elasticsearch 服务的日志条目

sudo journalctl --unit elasticsearch --since  "2016-10-30 18:17:16"

查看man journalctlhttps://www.freedesktop.org/software/systemd/man/journalctl.html以获取更多命令行选项。

旧版systemd的启动超时

默认情况下,Elasticsearch 将TimeoutStartSec参数设置为systemd900s。如果您运行的是至少 238 版本的systemd,则 Elasticsearch 可以自动延长启动超时时间,并且即使启动时间超过 900 秒,也会重复执行此操作,直到启动完成。

238 之前的systemd版本不支持超时扩展机制,如果 Elasticsearch 进程未在配置的超时时间内完全启动,则会终止该进程。如果发生这种情况,Elasticsearch 将在其日志中报告它在启动后不久正常关闭

[2022-01-31T01:22:31,077][INFO ][o.e.n.Node               ] [instance-0000000123] starting ...
...
[2022-01-31T01:37:15,077][INFO ][o.e.n.Node               ] [instance-0000000123] stopping ...

但是,systemd日志将报告启动超时

Jan 31 01:22:30 debian systemd[1]: Starting Elasticsearch...
Jan 31 01:37:15 debian systemd[1]: elasticsearch.service: Start operation timed out. Terminating.
Jan 31 01:37:15 debian systemd[1]: elasticsearch.service: Main process exited, code=killed, status=15/TERM
Jan 31 01:37:15 debian systemd[1]: elasticsearch.service: Failed with result 'timeout'.
Jan 31 01:37:15 debian systemd[1]: Failed to start Elasticsearch.

为避免这种情况,请将您的systemd升级到至少 238 版本。您还可以通过扩展TimeoutStartSec参数来临时解决此问题。

检查 Elasticsearch 是否正在运行编辑

您可以通过向localhost上的端口9200发送 HTTPS 请求来测试 Elasticsearch 节点是否正在运行

curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic:$ELASTIC_PASSWORD https://127.0.0.1:9200 

确保在调用中使用https,否则请求将失败。

--cacert
HTTP 层生成的http_ca.crt证书的路径。

该调用返回如下响应

{
  "name" : "Cp8oag6",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "AT69_T_DTp-1qgIJlatQqA",
  "version" : {
    "number" : "8.14.2",
    "build_type" : "tar",
    "build_hash" : "f27399d",
    "build_flavor" : "default",
    "build_date" : "2016-03-30T09:51:41.449Z",
    "build_snapshot" : false,
    "lucene_version" : "9.10.0",
    "minimum_wire_compatibility_version" : "1.2.3",
    "minimum_index_compatibility_version" : "1.2.3"
  },
  "tagline" : "You Know, for Search"
}

配置 Elasticsearch编辑

/etc/elasticsearch目录包含 Elasticsearch 的默认运行时配置。在软件包安装时,此目录和所有包含文件的所有权都设置为root:elasticsearch

setgid标志将组权限应用于/etc/elasticsearch目录,以确保 Elasticsearch 可以读取任何包含的文件和子目录。所有文件和子目录都继承root:elasticsearch所有权。从此目录或任何子目录(例如,elasticsearch-keystore 工具)运行命令需要root:elasticsearch权限。

默认情况下,Elasticsearch 从/etc/elasticsearch/elasticsearch.yml文件加载其配置。此配置文件的格式在配置 Elasticsearch中进行了说明。

Debian 软件包还有一个系统配置文件(/etc/default/elasticsearch),允许您设置以下参数

ES_JAVA_HOME

设置要使用的自定义 Java 路径。

ES_PATH_CONF

配置文件目录(需要包含 elasticsearch.ymljvm.optionslog4j2.properties 文件);默认为 /etc/elasticsearch

ES_JAVA_OPTS

您可能希望应用的任何其他 JVM 系统属性。

RESTART_ON_UPGRADE

配置在软件包升级时是否重启,默认为 false。这意味着您需要在手动安装软件包后重启 Elasticsearch 实例。这样做的原因是为了确保集群中的升级不会导致持续的分片重新分配,从而导致网络流量过高并降低集群的响应时间。

使用 systemd 的发行版要求通过 systemd 而不是通过 /etc/sysconfig/elasticsearch 文件配置系统资源限制。有关更多信息,请参阅Systemd 配置

将客户端连接到 Elasticsearch编辑

首次启动 Elasticsearch 时,会自动为 HTTP 层配置 TLS。会在以下位置生成 CA 证书并将其存储在磁盘上

/etc/elasticsearch/certs/http_ca.crt

此证书的十六进制编码 SHA-256 指纹也会输出到终端。连接到 Elasticsearch 的任何客户端(例如Elasticsearch 客户端、Beats、独立 Elastic Agent 和 Logstash)都必须验证它们是否信任 Elasticsearch 用于 HTTPS 的证书。Fleet Server 和 Fleet 管理的 Elastic Agent 会自动配置为信任 CA 证书。其他客户端可以通过使用 CA 证书的指纹或 CA 证书本身来建立信任。

如果自动配置过程已完成,您仍然可以获取安全证书的指纹。您还可以将 CA 证书复制到您的计算机,并将您的客户端配置为使用它。

使用 CA 指纹编辑

复制 Elasticsearch 启动时输出到终端的指纹值,并将您的客户端配置为使用此指纹在连接到 Elasticsearch 时建立信任。

如果自动配置过程已完成,您仍然可以通过运行以下命令获取安全证书的指纹。路径是指向 HTTP 层自动生成的 CA 证书的路径。

openssl x509 -fingerprint -sha256 -in config/certs/http_ca.crt

该命令返回安全证书,包括指纹。issuer 应为 Elasticsearch security auto-configuration HTTP CA

issuer= /CN=Elasticsearch security auto-configuration HTTP CA
SHA256 Fingerprint=<fingerprint>
使用 CA 证书编辑

如果您的库不支持验证指纹的方法,则会在每个 Elasticsearch 节点的以下目录中创建自动生成的 CA 证书

/etc/elasticsearch/certs/http_ca.crt

http_ca.crt 文件复制到您的计算机,并将您的客户端配置为使用此证书在连接到 Elasticsearch 时建立信任。

Debian 软件包的目录布局编辑

Debian 软件包将配置文件、日志和数据目录放置在基于 Debian 的系统的适当位置

类型 描述 默认位置 设置

home

Elasticsearch 主目录或 $ES_HOME

/usr/share/elasticsearch

bin

二进制脚本,包括用于启动节点的 elasticsearch 和用于安装插件的 elasticsearch-plugin

/usr/share/elasticsearch/bin

conf

配置文件,包括 elasticsearch.yml

/etc/elasticsearch

ES_PATH_CONF

conf

环境变量,包括堆大小、文件描述符。

/etc/default/elasticsearch

conf

为传输层和 HTTP 层生成的 TLS 密钥和证书。

/etc/elasticsearch/certs

data

分配在节点上的每个索引/分片的数据文件的位置。

/var/lib/elasticsearch

path.data

jdk

用于运行 Elasticsearch 的捆绑 Java 开发工具包。可以通过在 /etc/default/elasticsearch 中设置 ES_JAVA_HOME 环境变量来覆盖。

/usr/share/elasticsearch/jdk

logs

日志文件位置。

/var/log/elasticsearch

path.logs

plugins

插件文件位置。每个插件都将包含在一个子目录中。

/usr/share/elasticsearch/plugins

repo

共享文件系统存储库位置。可以容纳多个位置。文件系统存储库可以放置在此处指定的任何目录的任何子目录中。

未配置

path.repo

安全证书和密钥编辑

安装 Elasticsearch 时,会在 Elasticsearch 配置目录中生成以下证书和密钥,用于将 Kibana 实例连接到安全的 Elasticsearch 集群并加密节点间通信。此处列出这些文件以供参考。

http_ca.crt
用于为此 Elasticsearch 集群的 HTTP 层的证书签名的 CA 证书。
http.p12
包含此节点的 HTTP 层的密钥和证书的密钥库。
transport.p12
包含集群中所有节点的传输层的密钥和证书的密钥库。

http.p12transport.p12 是受密码保护的 PKCS#12 密钥库。Elasticsearch 将这些密钥库的密码存储为安全设置。要检索密码以便您可以检查或更改密钥库内容,请使用 bin/elasticsearch-keystore 工具。

使用以下命令检索 http.p12 的密码

bin/elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password

使用以下命令检索 transport.p12 的密码

bin/elasticsearch-keystore show xpack.security.transport.ssl.keystore.secure_password

后续步骤编辑

您现在已经设置了一个测试 Elasticsearch 环境。在开始进行认真的开发或将 Elasticsearch 用于生产环境之前,您必须执行一些额外的设置