« 如何编写脚本 解析数据 »
Elastic 文档 ›Elasticsearch 指南 [8.14] ›脚本 ›如何编写脚本

脚本、缓存和搜索速度

编辑

脚本、缓存和搜索速度编辑

Elasticsearch 执行了许多优化，以使使用脚本尽可能快。一个重要的优化是脚本缓存。编译后的脚本被放置在缓存中，以便引用该脚本的请求不会产生编译开销。

缓存大小很重要。您的脚本缓存应该足够大，以容纳用户需要同时访问的所有脚本。

如果您在节点统计中看到大量脚本缓存驱逐和不断增加的编译次数，您的缓存可能太小。

默认情况下，所有脚本都被缓存，因此它们只需要在更新发生时重新编译。默认情况下，脚本没有基于时间的过期时间。您可以使用script.cache.expire设置更改此行为。使用script.cache.max_size设置配置缓存的大小。

脚本的大小限制为 65,535 字节。设置script.max_size_in_bytes的值以增加该软限制。如果您的脚本确实很大，请考虑使用原生脚本引擎。

提高搜索速度编辑

脚本非常有用，但不能使用 Elasticsearch 的索引结构或相关的优化。这种关系有时会导致搜索速度变慢。

如果您经常使用脚本来转换索引数据，您可以通过在摄取期间转换数据来加快搜索速度。但是，这通常意味着索引速度会变慢。让我们看一个实际示例来说明如何提高搜索速度。

在运行搜索时，通常按两个值的总和对结果进行排序。例如，考虑一个名为my_test_scores的索引，其中包含考试成绩数据。此索引包括两个类型为long的字段

  • math_score
  • verbal_score

您可以运行一个带有脚本的查询，该脚本将这些值加在一起。这种方法没有错，但查询会变慢，因为脚本评估是在请求的一部分中进行的。以下请求返回grad_year等于2099的文档，并按脚本评估的结果对结果进行排序。

response = client.search(
  index: 'my_test_scores',
  body: {
    query: {
      term: {
        grad_year: '2099'
      }
    },
    sort: [
      {
        _script: {
          type: 'number',
          script: {
            source: "doc['math_score'].value + doc['verbal_score'].value"
          },
          order: 'desc'
        }
      }
    ]
  }
)
puts response
GET /my_test_scores/_search
{
  "query": {
    "term": {
      "grad_year": "2099"
    }
  },
  "sort": [
    {
      "_script": {
        "type": "number",
        "script": {
          "source": "doc['math_score'].value + doc['verbal_score'].value"
        },
        "order": "desc"
      }
    }
  ]
}

如果您正在搜索一个小型索引，那么将脚本作为查询的一部分可以是一个不错的解决方案。如果您想加快搜索速度，可以在摄取期间执行此计算，并将总和索引到一个字段中。

首先，我们将向索引添加一个名为total_score的新字段，它将包含math_score和verbal_score字段值的总和。

response = client.indices.put_mapping(
  index: 'my_test_scores',
  body: {
    properties: {
      total_score: {
        type: 'long'
      }
    }
  }
)
puts response
PUT /my_test_scores/_mapping
{
  "properties": {
    "total_score": {
      "type": "long"
    }
  }
}

接下来，使用包含脚本处理器的摄取管道来计算math_score和verbal_score的总和，并将其索引到total_score字段中。

response = client.ingest.put_pipeline(
  id: 'my_test_scores_pipeline',
  body: {
    description: 'Calculates the total test score',
    processors: [
      {
        script: {
          source: 'ctx.total_score = (ctx.math_score + ctx.verbal_score)'
        }
      }
    ]
  }
)
puts response
PUT _ingest/pipeline/my_test_scores_pipeline
{
  "description": "Calculates the total test score",
  "processors": [
    {
      "script": {
        "source": "ctx.total_score = (ctx.math_score + ctx.verbal_score)"
      }
    }
  ]
}

要更新现有数据，请使用此管道将my_test_scores中的任何文档重新索引到一个名为my_test_scores_2的新索引中。

response = client.reindex(
  body: {
    source: {
      index: 'my_test_scores'
    },
    dest: {
      index: 'my_test_scores_2',
      pipeline: 'my_test_scores_pipeline'
    }
  }
)
puts response
POST /_reindex
{
  "source": {
    "index": "my_test_scores"
  },
  "dest": {
    "index": "my_test_scores_2",
    "pipeline": "my_test_scores_pipeline"
  }
}

继续使用该管道将任何新文档索引到my_test_scores_2中。

response = client.index(
  index: 'my_test_scores_2',
  pipeline: 'my_test_scores_pipeline',
  body: {
    student: 'kimchy',
    grad_year: '2099',
    math_score: 1200,
    verbal_score: 800
  }
)
puts response
POST /my_test_scores_2/_doc/?pipeline=my_test_scores_pipeline
{
  "student": "kimchy",
  "grad_year": "2099",
  "math_score": 1200,
  "verbal_score": 800
}

这些更改会减慢索引过程，但允许更快地搜索。您可以使用total_score字段对在my_test_scores_2上进行的搜索进行排序，而不是使用脚本。响应是近乎实时的！尽管此过程会减慢摄取时间，但它会大大加快搜索时的查询速度。

response = client.search(
  index: 'my_test_scores_2',
  body: {
    query: {
      term: {
        grad_year: '2099'
      }
    },
    sort: [
      {
        total_score: {
          order: 'desc'
        }
      }
    ]
  }
)
puts response
GET /my_test_scores_2/_search
{
  "query": {
    "term": {
      "grad_year": "2099"
    }
  },
  "sort": [
    {
      "total_score": {
        "order": "desc"
      }
    }
  ]
}
« 如何编写脚本 解析数据 »