Google BigQuery 输出插件

此 Logstash 插件使用流式 API 将事件上传到 Google BigQuery，以便数据几乎可以立即查询。

您可以将其配置为定期刷新，在 N 个事件后刷新或在摄取一定数量的数据后刷新。

您必须在 Google Cloud 帐户上启用 BigQuery 并创建一个数据集来保存此插件生成的表。

您还必须授予此插件使用的服务帐户对数据集的访问权限。

您可以使用 Logstash 条件语句 和多个配置块来上传具有不同结构的事件。

这是一个 Logstash 配置示例

output {
   google_bigquery {
     project_id => "folkloric-guru-278"                        (required)
     dataset => "logs"                                         (required)
     csv_schema => "path:STRING,status:INTEGER,score:FLOAT"    (required) 
     json_key_file => "/path/to/key.json"                      (optional) 
     error_directory => "/tmp/bigquery-errors"                 (required)
     date_pattern => "%Y-%m-%dT%H:00"                          (optional)
     flush_interval_secs => 30                                 (optional)
   }
}

一次上传的消息最大数量。此数字必须小于 10,000。批量处理可以在一定程度上提高性能和吞吐量，但代价是每个请求的延迟。每个请求的行数太少，每个请求的开销会使摄取效率低下。每个请求的行数太多，吞吐量可能会下降。BigQuery 建议每个请求使用大约 500 行，但是使用具有代表性的数据（模式和数据大小）进行实验将帮助您确定理想的批量大小。

作为批处理的一部分上传的大约字节数。此数字应小于 10MB，否则插入可能会失败。

日志数据的模式。它必须遵循格式 name1:type1(,name2:type2)*。例如，path:STRING,status:INTEGER,score:FLOAT。

将为事件添加表的 BigQuery 数据集。

BigQuery 表的时间模式，默认为每小时的表。必须使用 Time.strftime 模式：www.ruby-doc.org/core-2.0/Time.html#method-i-strftime

存储由于错误而无法上传的事件的位置。默认情况下，如果插入中的任何消息无效，则所有消息都将失败。您可以使用 skip_invalid_rows 来允许部分插入。

考虑使用额外的 Logstash 输入将这些内容传输到警报平台，以便您可以手动修复事件。

或者使用 GCS FUSE 透明地上传到 GCS 存储桶。

文件名遵循模式 [表名]-[UNIX 时间戳].log

即使未满足其他上传条件，也经常上传所有数据。

指示 BigQuery 是否应忽略表模式中未表示的值。如果为 true，则会丢弃额外值。如果为 false，BigQuery 将拒绝包含额外字段的记录，作业将失败。默认值为 false。

mutate {
    remove_field => ["@version","@timestamp","path","host","type", "message"]
}

如果 Logstash 在 Google Compute Engine 中运行，则插件可以使用 GCE 的应用程序默认凭据。在 GCE 之外，您需要指定服务帐户 JSON 密钥文件。

作为哈希表的日志数据的模式。这些可以包括嵌套记录、描述和模式。

示例

json_schema => {
  fields => [{
    name => "endpoint"
    type => "STRING"
    description => "Request route"
  }, {
    name => "status"
    type => "INTEGER"
    mode => "NULLABLE"
  }, {
    name => "params"
    type => "RECORD"
    mode => "REPEATED"
    fields => [{
      name => "key"
      type => "STRING"
     }, {
      name => "value"
      type => "STRING"
    }]
  }]
}

Google Cloud 项目 ID（数字，而不是项目名称！）。

即使存在无效行，也要插入请求的所有有效行。默认值为 false，如果存在任何无效行，则会导致整个请求失败。

创建日志数据的新表时要使用的 BigQuery 表 ID 前缀。表名为 <table_prefix><table_separator><date>

要在 table_prefix 和日期后缀之间添加的 BigQuery 表分隔符。

将新文件上传到 BigQuery 时的上传程序间隔。根据您的时间模式调整时间（例如，对于每小时的文件，此间隔可以大约为一小时）。

用于输出数据的编解码器。输出编解码器是在数据离开输出之前对其进行编码的一种便捷方法，无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标日志记录。默认情况下，我们会记录所有可用的指标，但您可以为特定插件禁用指标收集。

在插件配置中添加唯一的ID。如果未指定 ID，Logstash 将生成一个。强烈建议在您的配置中设置此 ID。当您有两个或多个相同类型的插件时，这一点尤其有用。例如，如果您有两个 google_bigquery 输出。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  google_bigquery {
    id => "my_plugin_id"
  }
}