Google Cloud Storage 输入插件

每分钟从 my-logs-bucket 读取 JSON 日志的基本配置。例如，Stackdriver 日志。

input {
  google_cloud_storage {
    interval => 60
    bucket_id => "my-logs-bucket"
    json_key_file => "/home/user/key.json"
    file_matches => ".*json"
    codec => "json_lines"
  }
}
output { stdout { codec => rubydebug } }

如果您的管道可能会多次插入同一个文件，您可以使用 line_id 元数据键作为确定性 ID。

ID 的格式为：gs://<bucket_id>/<object_id>:<line_num>@<generation>。 line_num 表示从文件中反序列化的第 n 个事件，从 1 开始。 generation 是 Cloud Storage 为对象生成的唯一 ID。当对象被覆盖时，它会获得一个新的生成。

input {
  google_cloud_storage {
    bucket_id => "batch-jobs-output"
  }
}

output {
  elasticsearch {
    document_id => "%{[@metadata][gcs][line_id]}"
  }
}

从 Cloud Storage 中提取数据，使用 Logstash 对其进行转换，并将其加载到 BigQuery 中。

input {
  google_cloud_storage {
    interval => 60
    bucket_id => "batch-jobs-output"
    file_matches => "purchases.*.csv"
    json_key_file => "/home/user/key.json"
    codec => "plain"
  }
}

filter {
  csv {
    columns => ["transaction", "sku", "price"]
    convert => {
      "transaction" => "integer"
      "price" => "float"
    }
  }
}

output {
  google_bigquery {
    project_id => "my-project"
    dataset => "logs"
    csv_schema => "transaction:INTEGER,sku:INTEGER,price:FLOAT"
    json_key_file => "/path/to/key.json"
    error_directory => "/tmp/bigquery-errors"
    ignore_unknown_values => true
  }
}

包含您的日志文件的存储桶。

用于验证您的用户对存储桶的访问权限的密钥的路径。此服务用户*应该*具有 storage.objects.update 权限，以便它可以在对象上创建元数据，防止它被多次扫描。

如果未提供密钥，插件将尝试使用默认应用程序凭据，如果它们不存在，则回退到未经身份验证的模式。

在您的存储桶中查找新文件之间的秒数。

用于过滤文件的正则表达式模式。只有名称与此匹配的文件才会被考虑。默认情况下，所有文件都匹配。

与此正则表达式匹配的任何文件都将从处理中排除。默认情况下，不会排除任何文件。

此键将在对象被插件处理后设置在对象上。这样，您可以停止插件，并且不会再次上传文件，或者通过手动设置字段来阻止文件被上传。

如果设置，插件将在本地存储已处理文件的列表。这允许您为插件创建一个没有写入权限的服务帐号。但是，数据不会在多个正在运行的 Logstash 实例之间共享。

在更新日志文件的内容后是否应删除该文件？

如果设置为 true，则以 .gz 结尾的文件将在被编解码器解析之前解压缩。如果文件具有后缀但无法作为 gzip 打开（例如，如果它具有错误的幻数），则该文件将被跳过。

向事件添加字段

用于输入数据的编解码器。输入编解码器是一种便捷的方法，用于在数据进入输入之前对其进行解码，而无需在 Logstash 管道中使用单独的过滤器。

默认情况下，我们会记录所有可以记录的指标，但您可以禁用特定插件的指标收集，从而禁用或启用此特定插件实例的指标日志记录。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，例如，如果您有两个 google_cloud_storage 输入，这将特别有用。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  google_cloud_storage {
    id => "my_plugin_id"
  }
}

向您的事件添加任意数量的任意标签。

这有助于以后的处理。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已具有类型的事件上设置类型（例如，当您将事件从传送器发送到索引器时），则新输入不会覆盖现有类型。在传送器处设置的类型将始终与该事件保持一致，即使将其发送到另一个 Logstash 服务器也是如此。