Jdbc 输入插件

某些数据库（例如 Sybase 或 SQL Anywhere）可能会出现陈旧连接问题，在计划运行之间超时，并且永远不会重新连接。

为了确保在执行查询之前连接有效，请启用 jdbc_validate_connection 并将 jdbc_validation_timeout 设置为比 schedule 更短的时间间隔。

input {
  jdbc {
    schedule => "* * * * *"       # run every minute
    jdbc_validate_connection => true
    jdbc_validation_timeout => 50 # 50 seconds
  }
}

是否保留上一次运行状态

特定列的字符编码。此选项将覆盖为指定列设置的 :charset 选项。

示例

input {
  jdbc {
    ...
    columns_charset => { "column0" => "ISO-8859-1" }
    ...
  }
}

这将仅转换原始编码为 ISO-8859-1 的 column0。

尝试连接到数据库的最大次数

连接尝试之间休眠的秒数

JDBC 连接字符串

虽然在 SQL 的 timestamp 列类型中存储本地时间很常见，但许多时区在一年中会改变其偏移量，因此无法与 SQL 的 timestamp 类型一起使用来表示有序的连续时间线。例如，在 America/Chicago 时区中，当夏令时 (DST) 在秋季结束时，时钟从 01:59:59 回滚到 01:00:00，这使得当天 01:00:00CDT 和 02:00:00CST 之间的 2 小时内任何时间戳都变得模棱两可。

当遇到由 DST 转换引起的时间戳模棱两可时，查询将失败，除非此处指定的时区包含关于如何处理重叠时段的方括号指令（例如：America/Chicago[dst_enabled_on_overlap:true] 或 Australia/Melbourne[dst_enabled_on_overlap:false]）。

如果您希望此插件将时间戳偏移到 UTC 以外的时区，则可以将此设置设置为 local，插件将使用操作系统时区进行偏移调整。

注意：当指定 plugin_timezone 和/或 jdbc_default_timezone 时，偏移调整将在两个地方进行，如果 sql_last_value 是时间戳，并且用作语句中的参数，则偏移调整将从插件时区到数据时区，而在处理记录时，时间戳将从数据库时区偏移调整到插件时区。如果您的数据库时区是 UTC，则无需设置这两个设置。

要加载的 JDBC 驱动程序类，例如“org.apache.derby.jdbc.ClientDriver”

指向第三方驱动程序库的 JDBC 驱动程序库路径。如果需要多个库，您可以使用逗号分隔它们。

JDBC 获取大小。如果未提供，将使用相应驱动程序的默认值

JDBC 页面大小

JDBC 启用分页

这将导致 SQL 语句被分解成多个查询。每个查询将使用限制和偏移量来共同检索完整的结果集。限制大小由 jdbc_page_size 设置。

请注意，查询之间的排序没有保证。

在 JDBC 分页期间是否使用 explicit 或 auto 模式

如果为 auto，您的语句将自动被计数查询和随后的多个分页查询（使用 LIMIT 语句等）包围。

如果为 explicit，将使用您的语句执行多个查询（前面没有计数查询），直到不再检索到行。您必须在语句配置中编写自己的分页条件。offset 和 size 参数可以在您的语句中使用（size 等于 jdbc_page_size，并且 offset 每次查询增加 size）。当查询返回的行数不等于 size 时，SQL 分页将结束。示例

input {
  jdbc {
    statement => "SELECT id, mycolumn1, mycolumn2 FROM my_table WHERE id > :sql_last_value LIMIT :size OFFSET :offset",
    jdbc_paging_enabled => true,
    jdbc_paging_mode => "explicit",
    jdbc_page_size => 100000
  }
}

input {
  jdbc {
    statement => "CALL fetch_my_data(:sql_last_value, :offset, :size)",
    jdbc_paging_enabled => true,
    jdbc_paging_mode => "explicit",
    jdbc_page_size => 100000
  }
}

此模式可以在以下情况下考虑

JDBC 密码

JDBC 密码文件名

连接池配置。获取连接前等待的秒数，超过此时间将抛出 PoolTimeoutError（默认 5 秒）。

JDBC 用户名。

连接池配置。在使用连接之前验证连接。

连接池配置。验证连接的频率（以秒为单位）。

保存上次运行时间的路径。

在 5.2.6 之前的版本中，元数据文件写入 $HOME/.logstash_jdbc_last_run。如果在 Logstash 升级期间在 "$HOME" 中找到该文件，它将被移动到 "path.data" 下的默认位置。如果路径由用户定义，则不会执行自动移动操作。

是否强制将标识符字段转换为小写。

查询参数的哈希表，例如 { "target_id" => "321" }。

预处理语句的绑定值数组。 :sql_last_value 是一个保留的预定义字符串。

给预处理语句指定的名称。它在您的配置和数据库中必须是唯一的。

是否在 last_run_metadata_path 中保存状态。

定期运行语句的计划，使用 Cron 格式，例如："* * * * *"（每分钟执行查询，在分钟开始时）。

默认情况下没有计划。如果没有指定计划，则语句只执行一次。

通用/特定于供应商的 Sequel 配置选项。

可选连接池配置的示例：max_connections - 连接池的最大连接数。

特定于供应商的选项示例可以在以下文档页面中找到：https://github.com/jeremyevans/sequel/blob/master/doc/opening_databases.rdoc

记录 SQL 查询的日志级别，接受的值是常见的 fatal、error、warn、info 和 debug。默认值为 info。

如果未定义，Logstash 会报错，即使编解码器未被使用。要执行的语句。

要使用参数，请使用命名参数语法。例如：

"SELECT * FROM MYTABLE WHERE id = :target_id"

这里，":target_id" 是一个命名参数。您可以使用 parameters 设置配置命名参数。

包含要执行语句的文件路径。

如果没有 target，事件将从每一行的列在根级别创建。当 target 设置为字段引用时，每一行的列将放置在目标字段中。

此选项在强制执行下游模式（例如 ECS）时，可以避免填充未知字段，非常有用。

如果 use_column_value 设置为 true，则要跟踪其值的列。

跟踪列的类型。目前只有 "numeric" 和 "timestamp"。

当设置为 true 时，使用定义的 tracking_column 值作为 :sql_last_value。当设置为 false 时，:sql_last_value 反映上次执行查询的时间。

当设置为 true 时，启用预处理语句的使用。

向事件添加字段。

用于输入数据的编解码器。输入编解码器是一种方便的方法，可以在数据进入输入之前对其进行解码，而无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标记录，默认情况下我们会记录所有可能的指标，但您可以为特定插件禁用指标收集。

向插件配置添加一个唯一的 ID。如果未指定 ID，Logstash 会生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这尤其有用，例如，如果您有两个 jdbc 输入。在这种情况下，添加一个命名的 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  jdbc {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的标签。

这可以帮助以后的处理。

向此输入处理的所有事件添加一个 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您从发送器发送事件到索引器时），则新的输入不会覆盖现有的类型。在发送器中设置的类型会一直保留在该事件中，即使它被发送到另一个 Logstash 服务器也是如此。