日期字段类型编辑

JSON 没有日期数据类型,因此 Elasticsearch 中的日期可以是

  • 包含格式化日期的字符串,例如 "2015-01-01""2015/01/01 12:10:30"
  • 表示*自纪元以来的毫秒数*的数字。
  • 表示*自纪元以来的秒数*的数字(配置)。

在内部,日期会转换为 UTC(如果指定了时区)并存储为表示自纪元以来的毫秒数的长整型数字。

如果需要纳秒分辨率,请使用 date_nanos 字段类型。

对日期的查询会在内部转换为对此长整型表示形式的范围查询,聚合和存储字段的结果将根据与该字段关联的日期格式转换回字符串。

日期将始终呈现为字符串,即使它们最初在 JSON 文档中作为长整型提供。

日期格式可以自定义,但如果没有指定 format,则它将使用默认格式

    "strict_date_optional_time||epoch_millis"

这意味着它将接受带有可选时间戳的日期,这些日期符合 strict_date_optional_time 或自纪元以来的毫秒数支持的格式。

例如

resp = client.indices.create(
    index="my-index-000001",
    body={"mappings": {"properties": {"date": {"type": "date"}}}},
)
print(resp)

resp = client.index(
    index="my-index-000001",
    id="1",
    body={"date": "2015-01-01"},
)
print(resp)

resp = client.index(
    index="my-index-000001",
    id="2",
    body={"date": "2015-01-01T12:10:30Z"},
)
print(resp)

resp = client.index(
    index="my-index-000001",
    id="3",
    body={"date": 1420070400001},
)
print(resp)

resp = client.search(
    index="my-index-000001",
    body={"sort": {"date": "asc"}},
)
print(resp)
response = client.indices.create(
  index: 'my-index-000001',
  body: {
    mappings: {
      properties: {
        date: {
          type: 'date'
        }
      }
    }
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 1,
  body: {
    date: '2015-01-01'
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 2,
  body: {
    date: '2015-01-01T12:10:30Z'
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 3,
  body: {
    date: 1_420_070_400_001
  }
)
puts response

response = client.search(
  index: 'my-index-000001',
  body: {
    sort: {
      date: 'asc'
    }
  }
)
puts response
{
	res, err := es.Indices.Create(
		"my-index-000001",
		es.Indices.Create.WithBody(strings.NewReader(`{
	  "mappings": {
	    "properties": {
	      "date": {
	        "type": "date"
	      }
	    }
	  }
	}`)),
	)
	fmt.Println(res, err)
}

{
	res, err := es.Index(
		"my-index-000001",
		strings.NewReader(`{
	  "date": "2015-01-01"
	} `),
		es.Index.WithDocumentID("1"),
		es.Index.WithPretty(),
	)
	fmt.Println(res, err)
}

{
	res, err := es.Index(
		"my-index-000001",
		strings.NewReader(`{
	  "date": "2015-01-01T12:10:30Z"
	} `),
		es.Index.WithDocumentID("2"),
		es.Index.WithPretty(),
	)
	fmt.Println(res, err)
}

{
	res, err := es.Index(
		"my-index-000001",
		strings.NewReader(`{
	  "date": 1420070400001
	} `),
		es.Index.WithDocumentID("3"),
		es.Index.WithPretty(),
	)
	fmt.Println(res, err)
}

{
	res, err := es.Search(
		es.Search.WithIndex("my-index-000001"),
		es.Search.WithBody(strings.NewReader(`{
	  "sort": {
	    "date": "asc"
	  }
	}`)),
		es.Search.WithPretty(),
	)
	fmt.Println(res, err)
}
PUT my-index-000001
{
  "mappings": {
    "properties": {
      "date": {
        "type": "date" 
      }
    }
  }
}

PUT my-index-000001/_doc/1
{ "date": "2015-01-01" } 

PUT my-index-000001/_doc/2
{ "date": "2015-01-01T12:10:30Z" } 

PUT my-index-000001/_doc/3
{ "date": 1420070400001 } 

GET my-index-000001/_search
{
  "sort": { "date": "asc"} 
}

date 字段使用默认的 format

此文档使用纯日期。

此文档包含时间。

此文档使用自纪元以来的毫秒数。

请注意,返回的 sort 值均为自纪元以来的毫秒数。

日期将接受带有小数点的数字,例如 {"date": 1618249875.123456},但在某些情况下(#70085),我们会丢失这些日期的精度,因此应避免使用它们。

多种日期格式编辑

可以通过使用 || 作为分隔符来指定多种格式。将依次尝试每种格式,直到找到匹配的格式。第一种格式将用于将*自纪元以来的毫秒数*值转换回字符串。

resp = client.indices.create(
    index="my-index-000001",
    body={
        "mappings": {
            "properties": {
                "date": {
                    "type": "date",
                    "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis",
                }
            }
        }
    },
)
print(resp)
response = client.indices.create(
  index: 'my-index-000001',
  body: {
    mappings: {
      properties: {
        date: {
          type: 'date',
          format: 'yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis'
        }
      }
    }
  }
)
puts response
res, err := es.Indices.Create(
	"my-index-000001",
	es.Indices.Create.WithBody(strings.NewReader(`{
	  "mappings": {
	    "properties": {
	      "date": {
	        "type": "date",
	        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
	      }
	    }
	  }
	}`)),
)
fmt.Println(res, err)
PUT my-index-000001
{
  "mappings": {
    "properties": {
      "date": {
        "type":   "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
      }
    }
  }
}

date 字段的参数编辑

date 字段接受以下参数

doc_values

该字段是否应该以列式存储在磁盘上,以便以后可以用于排序、聚合或脚本?接受 true(默认)或 false

format

可以解析的日期格式。默认为 strict_date_optional_time||epoch_millis

locale

解析日期时使用的语言环境,因为月份的名称和/或缩写在所有语言中都不相同。默认值为 ROOT 语言环境

ignore_malformed

如果为 true,则忽略格式错误的数字。如果为 false(默认),则格式错误的数字会引发异常并拒绝整个文档。请注意,如果使用了 script 参数,则无法设置此项。

index

该字段是否应该可以快速搜索?接受 true(默认)和 false。只有启用了 doc_values 的日期字段也可以查询,但速度较慢。

null_value

接受其中一种已配置的 format 中的日期值作为字段,该字段将替换任何显式的 null 值。默认为 null,这意味着该字段将被视为缺失。请注意,如果使用了 script 参数,则无法设置此项。

on_script_error

定义如果 script 参数定义的脚本在索引时引发错误,应该怎么办。接受 fail(默认),这将导致拒绝整个文档,以及 continue,这将在文档的 _ignored 元数据字段中注册该字段并继续索引。仅当还设置了 script 字段时,才能设置此参数。

script

如果设置了此参数,则该字段将索引此脚本生成的值,而不是直接从源读取值。如果在输入文档上为此字段设置了值,则该文档将被拒绝并显示错误。脚本的格式与其 运行时等效项 相同,并且应该发出长整型时间戳。

store

字段值是否应该存储并可以与 _source 字段分开检索。接受 truefalse(默认)。

meta

关于该字段的元数据。

纪元秒数编辑

如果需要将日期作为*自纪元以来的秒数*发送,请确保 format 列出了 epoch_second

resp = client.indices.create(
    index="my-index-000001",
    body={
        "mappings": {
            "properties": {
                "date": {
                    "type": "date",
                    "format": "strict_date_optional_time||epoch_second",
                }
            }
        }
    },
)
print(resp)

resp = client.index(
    index="my-index-000001",
    id="example",
    refresh=True,
    body={"date": 1618321898},
)
print(resp)

resp = client.search(
    index="my-index-000001",
    body={"fields": [{"field": "date"}], "_source": False},
)
print(resp)
response = client.indices.create(
  index: 'my-index-000001',
  body: {
    mappings: {
      properties: {
        date: {
          type: 'date',
          format: 'strict_date_optional_time||epoch_second'
        }
      }
    }
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 'example',
  refresh: true,
  body: {
    date: 1_618_321_898
  }
)
puts response

response = client.search(
  index: 'my-index-000001',
  body: {
    fields: [
      {
        field: 'date'
      }
    ],
    _source: false
  }
)
puts response
PUT my-index-000001
{
  "mappings": {
    "properties": {
      "date": {
        "type":   "date",
        "format": "strict_date_optional_time||epoch_second"
      }
    }
  }
}

PUT my-index-000001/_doc/example?refresh
{ "date": 1618321898 }

POST my-index-000001/_search
{
  "fields": [ {"field": "date"}],
  "_source": false
}

这将返回如下日期

{
  "hits": {
    "hits": [
      {
        "_id": "example",
        "_index": "my-index-000001",
        "_score": 1.0,
        "fields": {
          "date": ["2021-04-13T13:51:38.000Z"]
        }
      }
    ]
  }
}

合成 _source编辑

合成 _source 仅适用于 TSDB 索引(index.mode 设置为 time_series 的索引)。对于其他索引,合成 _source 处于技术预览阶段。技术预览中的功能可能会在未来版本中更改或删除。Elastic 将努力解决任何问题,但技术预览中的功能不受官方 GA 功能支持 SLA 的约束。

date 字段在其默认配置中支持 合成 _source。合成 _source 不能与 copy_to、设置为 true 的 ignore_malformed 或禁用的 doc_values 一起使用。

合成源始终对 date 字段进行排序。例如

resp = client.indices.create(
    index="idx",
    body={
        "mappings": {
            "_source": {"mode": "synthetic"},
            "properties": {"date": {"type": "date"}},
        }
    },
)
print(resp)

resp = client.index(
    index="idx",
    id="1",
    body={"date": ["2015-01-01T12:10:30Z", "2014-01-01T12:10:30Z"]},
)
print(resp)
response = client.indices.create(
  index: 'idx',
  body: {
    mappings: {
      _source: {
        mode: 'synthetic'
      },
      properties: {
        date: {
          type: 'date'
        }
      }
    }
  }
)
puts response

response = client.index(
  index: 'idx',
  id: 1,
  body: {
    date: [
      '2015-01-01T12:10:30Z',
      '2014-01-01T12:10:30Z'
    ]
  }
)
puts response
PUT idx
{
  "mappings": {
    "_source": { "mode": "synthetic" },
    "properties": {
      "date": { "type": "date" }
    }
  }
}
PUT idx/_doc/1
{
  "date": ["2015-01-01T12:10:30Z", "2014-01-01T12:10:30Z"]
}

将变为

{
  "date": ["2014-01-01T12:10:30.000Z", "2015-01-01T12:10:30.000Z"]
}