配置

可以通过以下属性自定义 elasticsearch-hadoop 的行为，通常是在目标作业的 Hadoop Configuration 上设置它们。但是，其中一些属性可以通过其他方式指定，具体取决于使用的库（请参阅相关部分）。

必需设置编辑

es.resource = twitter/tweet   # index 'twitter', type 'tweet'

请注意，在上述资源设置中指定多个索引和/或类型仅允许读取。仅通过使用动态资源（在下面描述）支持为写入指定多个索引。使用 _all/types 搜索所有索引中的types，或使用 index/ 搜索index 中的所有类型。请注意，读取多个索引/类型通常仅在它们具有相同结构且仅与某些库一起使用时才有效。需要强类型映射（例如像 Hive 或 SparkSQL 这样的表）的集成可能会失败。

动态/多资源写入编辑

对于写入，elasticsearch-hadoop 允许通过使用模式（使用 {<field-name>} 格式）在运行时解析目标资源，并根据流式传输到 Elasticsearch 的数据在运行时解析。也就是说，可以根据要保存的文档中解析的一个或多个字段，将文档保存到某个 index 或 type 中。

例如，假设以下文档集（这里在 JSON 中描述以提高可读性 - 随意将其转换为实际的 Java 对象）

{
    "media_type":"game",
    "title":"Final Fantasy VI",
    "year":"1994"
},
{
    "media_type":"book",
    "title":"Harry Potter",
    "year":"2010"
},
{
    "media_type":"music",
    "title":"Surfing With The Alien",
    "year":"1987"
}

要根据它们的 media_type 对它们中的每一个进行索引，可以使用以下模式

# index the documents based on their type
es.resource.write = my-collection/{media_type}

这将导致 Final Fantasy VI 在 my-collection/game 下索引，Harry Potter 在 my-collection/book 下索引，Surfing With The Alien 在 my-collection/music 下索引。有关更多信息，请参阅专门的集成部分。

格式化动态/多资源写入编辑

使用动态/多写入时，还可以指定字段返回的值的格式。开箱即用，elasticsearch-hadoop 提供了日期/时间戳字段的格式，这对于在同一索引下自动对基于时间的​​数据（例如日志）进行分组很有用。通过使用 Java SimpleDataFormat 语法，可以以区域设置敏感的方式格式化和解析日期。

例如，假设数据包含一个 @timestamp 字段，可以使用以下配置将文档分组到每日索引中

# index the documents based on their date
es.resource.write = my-collection/{@timestamp|yyyy.MM.dd} 

使用相同的配置属性（es.resource.write），但是，通过特殊的 | 字符指定格式模式。有关支持的语法的更多信息，请参阅SimpleDateFormat javadocs。在这种情况下，yyyy.MM.dd 将日期转换为年份（由四位数字指定）、月份由两位数字指定，然后是日期由两位数字指定（例如 2015.01.28）。

Logstash 用户会发现这种模式非常熟悉.

基本设置编辑

网络编辑

查询编辑

也就是说，这里有一个例子

# uri (or parameter) query
es.query = ?q=costinl

# query dsl
es.query = { "query" : { "term" : { "user" : "costinl" } } }

# external resource
es.query = org/mypackage/myquery.json

换句话说，es.query 足够灵活，因此您可以使用您喜欢的任何搜索 api，无论是内联还是从外部资源加载。

操作编辑

映射（写入 Elasticsearch 时）编辑

例如

# extracting the id from the field called 'uuid'
es.mapping.id = uuid

# specifying a parent with id '123'
es.mapping.parent = <123>

# combine include / exclude for complete control
# include
es.mapping.include = u*, foo.*
# exclude
es.mapping.exclude = *.description

使用上面的配置，每个条目将仅包含其顶层字段（以 u 开头）以及 foo 下的嵌套字段，除了任何名为 description 的嵌套字段。此外，文档父级将为 123，而从字段 uuid 中提取的文档 ID。

字段信息（从 Elasticsearch 读取时）edit

例如

# To exclude field company.income
es.read.field.exclude = company.income

例如，给定文档

{
  "foo": {
    "bar": [ "abc", "def" ]
  }
}

使用以下配置

# mapping foo.bar as an array
es.read.field.as.array.include = foo.bar

如果您的文档包含多级数组

{
  "foo": {
    "bar": [[["abc", "def"], ["ghi", "jkl"]], [["mno", "pqr"], ["stu", "vwx"]]]
  }
}

然后在配置中指定数组的维数

# mapping foo.bar as a 3-level/dimensional array
es.read.field.as.array.include = foo.bar:3

元数据（从 Elasticsearch 读取时）edit

更新设置（写入 Elasticsearch 时）edit

使用 update 或 upsert 操作时，可以使用其他设置（反映 update API）

例如

# specifying 2 parameters, one extracting the value from field 'number', the other containing the value '123':
es.update.script.params = param1:number,param2:<123>

例如

es.update.script.params.json = {"param1":1, "param2":2}

高级设置edit

索引edit

默认值 (warn) 将在作业启动时将任何拼写错误记录到控制台

WARN main mr.EsInputFormat - Field(s) [naem, adress] not found
   in the Elasticsearch mapping specified; did you mean [name, location.address]?

es.read.shard.preference = _only_nodes:abc*

User specified source filters were found [name,timestamp], but the connector is executing in a state where it has provided its own source filtering [name,timestamp,location.address]. Please clear the user specified source fields under the [es.read.source.filter] property to continue. Bailing out...

输入edit

网络edit

设置 HTTP 请求标头edit

例如，这里用户正在设置Max-Forwards HTTP 标头

es.net.http.header.Max-Forwards = 10

安全设置edit

基本身份验证edit

SSLedit

代理edit

序列化edit