配置

可以通过以下属性自定义 elasticsearch-hadoop 的行为，通常通过在目标作业的 Hadoop Configuration 上设置它们来实现。但是，其中一些属性可以通过其他方式指定，具体取决于所使用的库（请参阅相关部分）。

es.resource = twitter/tweet   # index 'twitter', type 'tweet'

请注意，在上述资源设置中指定多个索引和/或类型仅允许用于读取。仅通过使用动态资源（如下文所述）才支持为写入指定多个索引。使用 _all/types 在所有索引中搜索 types，或使用 index/ 在 index 中搜索所有类型。请注意，读取多个索引/类型通常仅在它们具有相同结构并且仅适用于某些库时才有效。需要强类型映射（如 Hive 或 SparkSQL 等表）的集成可能会失败。

对于写入，elasticsearch-hadoop 允许通过使用模式（使用 {<field-name>} 格式）在运行时解析目标资源，该模式在运行时基于流式传输到 Elasticsearch 的数据进行解析。也就是说，可以根据要保存的文档中解析的一个或多个字段，将文档保存到特定的 index 或 type。

例如，假设有以下文档集（此处以 JSON 格式描述，以便于阅读 - 请随意将其转换为实际的 Java 对象）

{
    "media_type":"game",
    "title":"Final Fantasy VI",
    "year":"1994"
},
{
    "media_type":"book",
    "title":"Harry Potter",
    "year":"2010"
},
{
    "media_type":"music",
    "title":"Surfing With The Alien",
    "year":"1987"
}

要根据它们的 media_type 为每个文档编制索引，可以使用以下模式

# index the documents based on their type
es.resource.write = my-collection/{media_type}

这将导致 Final Fantasy VI 在 my-collection/game 下索引，Harry Potter 在 my-collection/book 下索引，Surfing With The Alien 在 my-collection/music 下索引。有关更多信息，请参阅专门的集成部分。

使用动态/多写入时，还可以指定字段返回的值的格式。开箱即用，elasticsearch-hadoop 为日期/时间戳字段提供格式化，这对于在同一索引下的特定时间范围内自动分组基于时间的数据（如日志）很有用。通过使用 Java SimpleDateFormat 语法，可以以区域设置敏感的方式格式化和解析日期。

例如，假设数据包含一个 @timestamp 字段，则可以使用以下配置将文档分组到每日索引中

# index the documents based on their date
es.resource.write = my-collection/{@timestamp|yyyy.MM.dd} 

使用相同的配置属性（es.resource.write），但是，通过特殊的 | 字符指定格式模式。请参阅 SimpleDateFormat javadocs，了解有关支持的语法的更多信息。在本例中，yyyy.MM.dd 将日期转换为年份（由四位数字指定）、月份（由 2 位数字表示），然后是日期（由两位数字表示）（如 2015.01.28）。

Logstash 用户会发现这种模式非常熟悉。

为此，以下是一个示例

# uri (or parameter) query
es.query = ?q=costinl

# query dsl
es.query = { "query" : { "term" : { "user" : "costinl" } } }

# external resource
es.query = org/mypackage/myquery.json

换句话说，es.query 足够灵活，您可以根据自己的喜好使用任何搜索 API，无论是内联还是从外部资源加载。

例如

# extracting the id from the field called 'uuid'
es.mapping.id = uuid

# specifying a parent with id '123'
es.mapping.parent = <123>

# combine include / exclude for complete control
# include
es.mapping.include = u*, foo.*
# exclude
es.mapping.exclude = *.description

使用上述配置，每个条目都将仅包含其顶级字段，以 u 开头的字段以及 foo 下的嵌套字段包含在文档中，但名为 description 的任何嵌套字段除外。此外，文档的父级将为 123，而文档 ID 将从字段 uuid 中提取。

例如

# To exclude field company.income
es.read.field.exclude = company.income

例如，给定文档

{
  "foo": {
    "bar": [ "abc", "def" ]
  }
}

使用以下配置

# mapping foo.bar as an array
es.read.field.as.array.include = foo.bar

如果您的文档包含多个级别的数组

{
  "foo": {
    "bar": [[["abc", "def"], ["ghi", "jkl"]], [["mno", "pqr"], ["stu", "vwx"]]]
  }
}

然后在配置中指定数组的维度

# mapping foo.bar as a 3-level/dimensional array
es.read.field.as.array.include = foo.bar:3

在使用 update 或 upsert 操作时，可以使用其他设置（镜像 update API）

例如

# specifying 2 parameters, one extracting the value from field 'number', the other containing the value '123':
es.update.script.params = param1:number,param2:<123>

例如

es.update.script.params.json = {"param1":1, "param2":2}

默认值 (warn) 将在作业启动时将任何拼写错误记录到控制台

WARN main mr.EsInputFormat - Field(s) [naem, adress] not found
   in the Elasticsearch mapping specified; did you mean [name, location.address]?

es.read.shard.preference = _only_nodes:abc*

User specified source filters were found [name,timestamp], but the connector is executing in a state where it has provided its own source filtering [name,timestamp,location.address]. Please clear the user specified source fields under the [es.read.source.filter] property to continue. Bailing out...

例如，此处用户正在设置 Max-Forwards HTTP 标头

es.net.http.header.Max-Forwards = 10