Google BigQuery 输出插件

此 Logstash 插件使用流式 API 将事件上传到 Google BigQuery，以便数据可以几乎立即用于查询。

您可以将其配置为在 N 个事件之后或在摄取一定量的数据后定期刷新。

您必须在 Google Cloud 帐户上启用 BigQuery，并创建一个数据集来保存此插件生成的表。

您还必须授予此插件使用的服务帐户对数据集的访问权限。

您可以使用Logstash 条件和多个配置块来上传具有不同结构的事件。

这是一个 Logstash 配置的示例

output {
   google_bigquery {
     project_id => "folkloric-guru-278"                        (required)
     dataset => "logs"                                         (required)
     csv_schema => "path:STRING,status:INTEGER,score:FLOAT"    (required) 
     json_key_file => "/path/to/key.json"                      (optional) 
     error_directory => "/tmp/bigquery-errors"                 (required)
     date_pattern => "%Y-%m-%dT%H:00"                          (optional)
     flush_interval_secs => 30                                 (optional)
   }
}

一次上传的最大消息数。此数字必须 < 10,000。批处理可以提高性能和吞吐量，但会以每次请求的延迟为代价。每个请求的行太少，每个请求的开销都会使摄取效率低下。每个请求的行太多，吞吐量可能会下降。BigQuery 建议每个请求使用大约 500 行，但使用有代表性的数据（模式和数据大小）进行实验将有助于您确定理想的批处理大小。

作为批处理一部分上传的字节数的近似值。此数字应 < 10MB，否则插入可能会失败。

日志数据的架构。它必须遵循格式 name1:type1(,name2:type2)*。例如，path:STRING,status:INTEGER,score:FLOAT。

将事件的表添加到的 BigQuery 数据集。

BigQuery 表的时间模式，默认为每小时表。必须是 Time.strftime 模式：www.ruby-doc.org/core-2.0/Time.html#method-i-strftime

存储由于错误而无法上传的事件的位置。默认情况下，如果插入中的任何消息无效，则所有消息都将失败。您可以使用 skip_invalid_rows 来允许部分插入。

考虑使用其他 Logstash 输入将这些内容管道传输到警报平台，以便您可以手动修复事件。

或使用 GCS FUSE 透明地上传到 GCS 存储桶。

文件名遵循模式 [表名]-[UNIX 时间戳].log

即使未满足其他上传条件，也经常上传所有数据。

指示 BigQuery 是否应忽略表中未表示的值。如果为 true，则会丢弃额外的值。如果为 false，BigQuery 将拒绝包含额外字段的记录，并且作业将失败。默认值为 false。

mutate {
    remove_field => ["@version","@timestamp","path","host","type", "message"]
}

如果 Logstash 在 Google Compute Engine 中运行，则插件可以使用 GCE 的应用程序默认凭据。在 GCE 之外，您需要指定服务帐户 JSON 密钥文件。

日志数据作为哈希的架构。这些可以包括嵌套记录、描述和模式。

示例

json_schema => {
  fields => [{
    name => "endpoint"
    type => "STRING"
    description => "Request route"
  }, {
    name => "status"
    type => "INTEGER"
    mode => "NULLABLE"
  }, {
    name => "params"
    type => "RECORD"
    mode => "REPEATED"
    fields => [{
      name => "key"
      type => "STRING"
     }, {
      name => "value"
      type => "STRING"
    }]
  }]
}

Google Cloud 项目 ID（数字，不是项目名称！）。

插入请求的所有有效行，即使存在无效行也是如此。默认值为 false，如果存在任何无效行，则会导致整个请求失败。

用于创建新的日志数据表的 BigQuery 表 ID 前缀。表名将为 <table_prefix><table_separator><date>

BigQuery 表分隔符，添加到 table_prefix 和日期后缀之间。

将新文件上传到 BigQuery 时的上传间隔。根据您的时间模式调整时间（例如，对于每小时文件，此间隔可以在一小时左右）。

用于输出数据的编解码器。输出编解码器是一种方便的方法，可以在数据离开输出之前对其进行编码，而无需在 Logstash 管道中使用单独的过滤器。

禁用或启用此特定插件实例的指标记录。默认情况下，我们会记录所有可以记录的指标，但是您可以禁用特定插件的指标收集。

向插件配置添加唯一的 ID。如果未指定 ID，则 Logstash 将生成一个 ID。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，这特别有用。例如，如果您有 2 个 google_bigquery 输出。在这种情况下添加命名的 ID 将有助于在使用监控 API 时监控 Logstash。

output {
  google_bigquery {
    id => "my_plugin_id"
  }
}