配置

可以通过以下属性自定义 elasticsearch-hadoop 的行为，通常是在目标作业的 Hadoop Configuration 中设置它们。但是，根据使用的库的不同，其中一些属性可以通过其他方式指定（请参见相关部分）。

es.resource = twitter/tweet   # index 'twitter', type 'tweet'

请注意，在上述资源设置中指定多个索引和/或类型仅允许读取。仅通过使用动态资源（下文所述）才支持指定多个索引进行写入。使用 _all/types 搜索所有索引中的types，或使用 index/ 搜索index 中的所有类型。请注意，读取多个索引/类型通常仅在它们具有相同的结构并且仅与某些库一起使用时才有效。需要强类型映射（例如像 Hive 或 SparkSQL 这样的表）的集成很可能会失败。

对于写入，elasticsearch-hadoop 允许通过使用模式（使用 {<field-name>} 格式）在运行时解析目标资源，该模式根据流式传输到 Elasticsearch 的数据在运行时解析。也就是说，可以根据即将保存的文档中解析的一个或多个字段，将文档保存到特定的 index 或 type。

例如，假设以下文档集（此处以 JSON 格式描述，以便于阅读 - 请随意将其转换为实际的 Java 对象）

{
    "media_type":"game",
    "title":"Final Fantasy VI",
    "year":"1994"
},
{
    "media_type":"book",
    "title":"Harry Potter",
    "year":"2010"
},
{
    "media_type":"music",
    "title":"Surfing With The Alien",
    "year":"1987"
}

要根据它们的 media_type 对每个文档进行索引，可以使用以下模式

# index the documents based on their type
es.resource.write = my-collection/{media_type}

这将导致 Final Fantasy VI 索引在 my-collection/game 下，Harry Potter 索引在 my-collection/book 下，Surfing With The Alien 索引在 my-collection/music 下。有关更多信息，请参阅专用集成部分。

使用动态/多资源写入时，还可以指定字段返回的值的格式。开箱即用，elasticsearch-hadoop 提供了日期/时间戳字段的格式，这对于在特定时间范围内自动对基于时间的数据（例如日志）进行分组到同一索引中很有用。通过使用 Java SimpleDataFormat 语法，可以以区域设置敏感的方式格式化和解析日期。

例如，假设数据包含一个 @timestamp 字段，可以使用以下配置将文档分组到每日索引中

# index the documents based on their date
es.resource.write = my-collection/{@timestamp|yyyy.MM.dd} 

使用相同的配置属性（es.resource.write），但是，通过特殊的 | 字符指定格式模式。有关支持的语法的更多信息，请参阅SimpleDateFormat javadocs。在这种情况下，yyyy.MM.dd 将日期转换为年份（用四位数字指定）、月份（用两位数字指定）和日期（用两位数字指定）（例如 2015.01.28）。

Logstash 用户会发现此模式非常熟悉。

为此，这是一个示例

# uri (or parameter) query
es.query = ?q=costinl

# query dsl
es.query = { "query" : { "term" : { "user" : "costinl" } } }

# external resource
es.query = org/mypackage/myquery.json

换句话说，es.query 足够灵活，您可以使用任何您喜欢的搜索 API，无论是内联还是从外部资源加载。

例如

# extracting the id from the field called 'uuid'
es.mapping.id = uuid

# specifying a parent with id '123'
es.mapping.parent = <123>

# combine include / exclude for complete control
# include
es.mapping.include = u*, foo.*
# exclude
es.mapping.exclude = *.description

使用上面的配置，每个条目只有其顶级字段（以u开头）和foo下的嵌套字段包含在文档中，任何名为description的嵌套字段除外。此外，文档父级将为123，而文档 ID 从字段uuid中提取。

例如

# To exclude field company.income
es.read.field.exclude = company.income

例如，给定文档

{
  "foo": {
    "bar": [ "abc", "def" ]
  }
}

使用以下配置

# mapping foo.bar as an array
es.read.field.as.array.include = foo.bar

如果您的文档包含多层数组

{
  "foo": {
    "bar": [[["abc", "def"], ["ghi", "jkl"]], [["mno", "pqr"], ["stu", "vwx"]]]
  }
}

然后在配置中指定数组的维数

# mapping foo.bar as a 3-level/dimensional array
es.read.field.as.array.include = foo.bar:3

使用update或upsert操作时，可以使用其他设置（与update API 相似）

例如

# specifying 2 parameters, one extracting the value from field 'number', the other containing the value '123':
es.update.script.params = param1:number,param2:<123>

例如

es.update.script.params.json = {"param1":1, "param2":2}

默认值（warn）将在作业开始时将任何拼写错误记录到控制台。

WARN main mr.EsInputFormat - Field(s) [naem, adress] not found
   in the Elasticsearch mapping specified; did you mean [name, location.address]?

es.read.shard.preference = _only_nodes:abc*

User specified source filters were found [name,timestamp], but the connector is executing in a state where it has provided its own source filtering [name,timestamp,location.address]. Please clear the user specified source fields under the [es.read.source.filter] property to continue. Bailing out...

例如，这里用户正在设置 Max-Forwards HTTP 头

es.net.http.header.Max-Forwards = 10