发现故障排除
编辑发现故障排除
编辑大多数情况下，发现和选举过程会很快完成，主节点会长时间保持选举状态。
如果您的集群没有稳定的主节点，许多功能将无法正常工作，Elasticsearch 将向客户端和日志中报告错误。您必须先解决主节点的不稳定性，然后再处理这些其他问题。在没有选举出的主节点或已选举的主节点不稳定时，将无法解决任何其他问题。
如果您的集群拥有稳定的主节点，但某些节点无法发现或加入它，这些节点将向客户端及其日志中报告错误。在解决其他问题之前，必须解决阻止这些节点加入集群的障碍。在这些节点无法加入集群时，将无法解决它们报告的任何其他问题。
如果集群在几秒钟内没有选举出主节点，主节点不稳定，或者某些节点无法发现或加入稳定的主节点，则 Elasticsearch 将在其日志中记录说明原因的信息。如果问题持续超过几分钟，Elasticsearch 将在其日志中记录更多信息。为了正确地排除发现和选举问题，请收集并分析来自所有节点至少五分钟的日志。
以下部分描述了一些常见的发现和选举问题。
未选举出主节点
编辑当一个节点赢得主节点选举时，它会记录一条包含 elected-as-master 的消息，并且所有节点都会记录一条包含 master node changed 的消息，用于识别新选举的主节点。
如果没有选举出主节点，并且任何节点都无法赢得选举，所有节点都将使用名为 org.elasticsearch.cluster.coordination.ClusterFormationFailureHelper 的日志记录器重复记录有关此问题的消息。默认情况下，每 10 秒发生一次。
主节点选举仅涉及符合主节点资格的节点，因此在这种情况下，请将注意力集中在符合主节点资格的节点上。这些节点的日志将指示主节点选举的要求，例如发现特定的一组节点。这些节点上的 健康 API 也会提供有关此情况的有用信息。
如果日志或健康报告表明 Elasticsearch 无法发现足够的节点来形成仲裁，则必须解决阻止 Elasticsearch 发现丢失节点的原因。需要丢失的节点来重建集群元数据。如果没有集群元数据，集群中的数据将毫无意义。集群元数据存储在集群中符合主节点资格的节点的子集中。如果无法发现仲裁，则丢失的节点是保存集群元数据的节点。
确保运行的节点数量足以形成仲裁，并且每个节点都能够通过网络与其他每个节点通信。如果选举问题持续超过几分钟，Elasticsearch 将报告有关网络连接的更多详细信息。如果无法启动足够的节点来形成仲裁，请启动一个新集群并从最近的快照恢复数据。有关更多信息，请参阅 基于仲裁的决策。
如果日志或健康报告表明 Elasticsearch *已*发现可能的节点仲裁，则集群无法选举主节点的典型原因是其他节点之一无法发现仲裁。检查其他符合主节点资格的节点上的日志，并确保它们都已发现足够的节点来形成仲裁。
如果日志表明发现或主节点选举由于超时或网络相关问题而失败，则按照以下步骤缩小问题范围。
- GC 暂停记录在 Elasticsearch 默认情况下发出的 GC 日志中，通常也记录在主节点日志中的
JvmMonitorService中。使用这些日志确认节点是否正在经历高堆使用率和长时间的 GC 暂停。如果是这样，高堆使用率的故障排除指南 提供了一些进一步调查的建议，但通常需要在高堆使用率期间捕获堆转储和 垃圾收集器日志 以充分了解问题。 - 虚拟机暂停也会影响同一主机上的其他进程。虚拟机暂停通常还会导致系统时钟中断，Elasticsearch 将在其日志中报告此中断。如果您看到其他进程同时暂停的证据，或意外的时钟中断，请调查运行 Elasticsearch 的基础架构。
- 数据包捕获将揭示系统级和网络级故障，尤其是在您同时捕获所有相关节点的网络流量并将其与来自这些节点的 Elasticsearch 日志一起分析时。您应该能够观察到连接之间任何重传、数据包丢失或其他延迟。
-
可以通过在出现相关日志消息之前的几秒钟内获取主 Elasticsearch 进程的堆栈转储（例如，使用
jstack）或概要分析跟踪（例如，使用 Java Flight Recorder）来识别特定线程可用性的长时间等待。节点热点线程 API 有时会产生有用的信息，但请记住，此 API 还需要集群中所有节点上的许多
transport_worker和generic线程。此 API 可能会受到您正在尝试诊断的同一个问题的影响。jstack更可靠，因为它不需要任何 JVM 线程。参与发现和集群成员资格的线程主要是
transport_worker和cluster_coordination线程，它们不应该长时间等待。Elasticsearch 日志中也可能存在长时间等待线程的证据，尤其是在org.elasticsearch.transport.InboundHandler的警告日志中。有关更多信息，请参阅 网络线程模型。
已选举出主节点，但不稳定
编辑当一个节点赢得主节点选举时，它会记录一条包含 elected-as-master 的消息。如果这种情况反复发生，则已选举的主节点不稳定。在这种情况下，请关注来自符合主节点资格的节点的日志，以了解为什么选举获胜者停止成为主节点并触发另一次选举。如果日志表明主节点由于超时或网络相关问题而不稳定，则按照以下步骤缩小问题范围。
- GC 暂停记录在 Elasticsearch 默认情况下发出的 GC 日志中，通常也记录在主节点日志中的
JvmMonitorService中。使用这些日志确认节点是否正在经历高堆使用率和长时间的 GC 暂停。如果是这样，高堆使用率的故障排除指南 提供了一些进一步调查的建议，但通常需要在高堆使用率期间捕获堆转储和 垃圾收集器日志 以充分了解问题。 - 虚拟机暂停也会影响同一主机上的其他进程。虚拟机暂停通常还会导致系统时钟中断，Elasticsearch 将在其日志中报告此中断。如果您看到其他进程同时暂停的证据，或意外的时钟中断，请调查运行 Elasticsearch 的基础架构。
- 数据包捕获将揭示系统级和网络级故障，尤其是在您同时捕获所有相关节点的网络流量并将其与来自这些节点的 Elasticsearch 日志一起分析时。您应该能够观察到连接之间任何重传、数据包丢失或其他延迟。
-
可以通过在出现相关日志消息之前的几秒钟内获取主 Elasticsearch 进程的堆栈转储（例如，使用
jstack）或概要分析跟踪（例如，使用 Java Flight Recorder）来识别特定线程可用性的长时间等待。节点热点线程 API 有时会产生有用的信息，但请记住，此 API 还需要集群中所有节点上的许多
transport_worker和generic线程。此 API 可能会受到您正在尝试诊断的同一个问题的影响。jstack更可靠，因为它不需要任何 JVM 线程。参与发现和集群成员资格的线程主要是
transport_worker和cluster_coordination线程，它们不应该长时间等待。Elasticsearch 日志中也可能存在长时间等待线程的证据，尤其是在org.elasticsearch.transport.InboundHandler的警告日志中。有关更多信息，请参阅 网络线程模型。
节点无法发现或加入稳定的主节点
编辑如果存在稳定的已选举主节点，但节点无法发现或加入其集群，它将使用 ClusterFormationFailureHelper 日志记录器重复记录有关此问题的消息。受影响节点上的 健康 API 也将提供有关此情况的有用信息。受影响节点和已选举的主节点上的其他日志消息可能会提供有关此问题的其他信息。如果日志表明节点由于超时或网络相关问题而无法发现或加入集群，则按照以下步骤缩小问题范围。
- GC 暂停记录在 Elasticsearch 默认情况下发出的 GC 日志中，通常也记录在主节点日志中的
JvmMonitorService中。使用这些日志确认节点是否正在经历高堆使用率和长时间的 GC 暂停。如果是这样，高堆使用率的故障排除指南 提供了一些进一步调查的建议，但通常需要在高堆使用率期间捕获堆转储和 垃圾收集器日志 以充分了解问题。 - 虚拟机暂停也会影响同一主机上的其他进程。虚拟机暂停通常还会导致系统时钟中断，Elasticsearch 将在其日志中报告此中断。如果您看到其他进程同时暂停的证据，或意外的时钟中断，请调查运行 Elasticsearch 的基础架构。
- 数据包捕获将揭示系统级和网络级故障，尤其是在您同时捕获所有相关节点的网络流量并将其与来自这些节点的 Elasticsearch 日志一起分析时。您应该能够观察到连接之间任何重传、数据包丢失或其他延迟。
-
可以通过在出现相关日志消息之前的几秒钟内获取主 Elasticsearch 进程的堆栈转储（例如，使用
jstack）或概要分析跟踪（例如，使用 Java Flight Recorder）来识别特定线程可用性的长时间等待。节点热点线程 API 有时会产生有用的信息，但请记住，此 API 还需要集群中所有节点上的许多
transport_worker和generic线程。此 API 可能会受到您正在尝试诊断的同一个问题的影响。jstack更可靠，因为它不需要任何 JVM 线程。参与发现和集群成员资格的线程主要是
transport_worker和cluster_coordination线程，它们不应该长时间等待。Elasticsearch 日志中也可能存在长时间等待线程的证据，尤其是在org.elasticsearch.transport.InboundHandler的警告日志中。有关更多信息，请参阅 网络线程模型。
节点加入集群后又离开
编辑如果节点加入集群，但 Elasticsearch 确定它有故障，则它将再次从集群中移除。有关更多信息，请参阅 集群不稳定故障排除。