New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« SQL 输入 Juniper SRX 集成 »
Elastic 文档 ›Elastic 集成

Squid 代理

编辑

Squid 代理

编辑

版本

1.0.3 (查看全部)

兼容的 Kibana 版本

8.14.1 或更高版本

支持的 Serverless 项目类型
这是什么？

安全
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

Elastic

Squid 是一款缓存和转发 HTTP Web 代理。使用 Squid 代理集成来监控 Squid 代理访问日志。

数据流

编辑

此集成支持通过 Filestream、TCP 和/或 UDP 输入来提取 Squid 代理的日志。

Log 用于检索 Squid 代理生成的访问日志消息。有关更多详细信息，请参阅 access.log 和 Squid 本机 access.log 格式详细信息。

要求

编辑

您需要 Elasticsearch 来存储和搜索您的数据，以及 Kibana 来可视化和管理数据。您可以使用我们托管在 Elastic Cloud 上的 Elasticsearch 服务（推荐），或者在您自己的硬件上自行管理 Elastic Stack。

必须安装 Elastic Agent。有关更多信息，请参阅 安装 Elastic Agent。

安装和管理 Elastic Agent

编辑

您有几种安装和管理 Elastic Agent 的选项

安装由 Fleet 管理的 Elastic Agent（推荐）

编辑

通过此方法，您将安装 Elastic Agent 并使用 Kibana 中的 Fleet 在中心位置定义、配置和管理您的代理。我们建议使用 Fleet 管理，因为它使您的代理的管理和升级变得更加容易。

以独立模式安装 Elastic Agent（高级用户）

编辑

通过此方法，您将安装 Elastic Agent 并在安装它的系统上本地手动配置代理。您负责管理和升级代理。此方法仅保留给高级用户使用。

在容器化环境中安装 Elastic Agent

编辑

您可以在容器内运行 Elastic Agent，无论使用 Fleet Server 还是独立模式。所有版本的 Elastic Agent 的 Docker 镜像都可以从 Elastic Docker 注册表获得，并且我们提供了在 Kubernetes 上运行的部署清单。

运行 Elastic Agent 有一些最低要求。有关更多信息，请参阅 安装 Elastic Agent。

所需的最低 Kibana 版本 为 8.14.1。

设置

编辑

配置 Squid 以使用支持的方法之一（文件（模块：标准 I/O）、udp（模块：UDP 接收器）或 tcp（模块：TCP 接收器））导出访问日志。

集成支持以下格式

在 Elastic 中启用集成

编辑
  1. 在 Kibana 中，转到 Management > Integrations。
  2. 在 搜索集成 栏中，键入 Squid 代理。
  3. 从搜索结果中选择 Squid 代理集成。
  4. 单击 添加 Squid 代理 以添加集成。
  5. 根据启用的输入类型添加所有必需的集成配置参数。
  6. 单击 保存并继续。

日志参考

编辑

日志

编辑

log 数据集收集 Squid 日志。

示例事件

编辑
示例

log 的示例事件如下所示

{
    "@timestamp": "2006-09-08T04:21:52.049Z",
    "agent": {
        "ephemeral_id": "703e0801-aef8-4d26-aa48-12c7673f6df0",
        "id": "29b8ade0-b4ef-4ce2-ab55-0acc99bbb914",
        "name": "elastic-agent-52603",
        "type": "filebeat",
        "version": "8.15.0"
    },
    "data_stream": {
        "dataset": "squid.log",
        "namespace": "63238",
        "type": "logs"
    },
    "destination": {
        "address": "175.16.199.115",
        "bytes": 19763,
        "geo": {
            "city_name": "Changchun",
            "continent_name": "Asia",
            "country_iso_code": "CN",
            "country_name": "China",
            "location": {
                "lat": 43.88,
                "lon": 125.3228
            },
            "region_iso_code": "CN-22",
            "region_name": "Jilin Sheng"
        },
        "ip": "175.16.199.115"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "29b8ade0-b4ef-4ce2-ab55-0acc99bbb914",
        "snapshot": false,
        "version": "8.15.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "web"
        ],
        "dataset": "squid.log",
        "duration": 5006000000,
        "ingested": "2024-09-03T18:27:38Z",
        "kind": "event",
        "original": "1157689312.049   5006 10.105.21.199 TCP_MISS/200 19763 CONNECT login.yahoo.com:443 badeyek DIRECT/175.16.199.115 -",
        "outcome": "success",
        "type": [
            "access"
        ]
    },
    "http": {
        "request": {
            "method": "CONNECT"
        }
    },
    "input": {
        "type": "filestream"
    },
    "log": {
        "file": {
            "device_id": "35",
            "inode": "442644",
            "path": "/tmp/service_logs/squid-log-access.log"
        },
        "offset": 0
    },
    "observer": {
        "product": "Squid",
        "type": "proxy",
        "vendor": "Squid"
    },
    "related": {
        "ip": [
            "10.105.21.199",
            "175.16.199.115"
        ],
        "user": [
            "badeyek"
        ]
    },
    "source": {
        "address": "10.105.21.199",
        "ip": "10.105.21.199",
        "user": {
            "name": "badeyek"
        }
    },
    "squid": {
        "peer_status": "DIRECT",
        "result_code": "TCP_MISS",
        "status_code": 200
    },
    "tags": [
        "preserve_original_event",
        "squid-log",
        "forwarded"
    ],
    "url": {
        "original": "login.yahoo.com:443"
    }
}

导出的字段

编辑
导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

container.id

唯一容器 ID。

keyword

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

input.type

Filebeat 输入的类型。

keyword

log.file.device_id

包含文件所在文件系统的设备的 ID。

keyword

log.file.fingerprint

启用指纹识别时，文件的 sha256 指纹标识。

keyword

log.file.idxhi

与文件关联的唯一标识符的高位部分。（仅限 Windows）

keyword

log.file.idxlo

与文件关联的唯一标识符的低位部分。（仅限 Windows）

keyword

log.file.inode

日志文件的 Inode 编号。

keyword

log.file.path

此事件来自的日志文件的完整路径。

keyword

log.file.vol

包含文件的卷的序列号。（仅限 Windows）

keyword

log.flags

日志文件的标志。

keyword

log.offset

日志文件中条目的偏移量。

长整型

log.source.address

从中读取/发送日志事件的源地址。

keyword

squid.content_type

在 HTTP 响应标头中看到的内容类型。

keyword

squid.peer_status

一个代码，用于说明如何处理请求，是通过将其转发到对等方还是直接转到源。

keyword

squid.result_code

请求的结果。

keyword

squid.status_code

结果的状态。

长整型

更新日志

编辑
更新日志
版本 详细信息 Kibana 版本

1.0.3

Bug 修复 (查看拉取请求)
修复 Squid 代理集成的断开链接和各种格式问题。

8.14.1 或更高版本

1.0.2

Bug 修复 (查看拉取请求)
容忍 uri_parts 错误，确保在发生错误时删除 _tmp 字段。

8.14.1 或更高版本

1.0.1

增强 (查看拉取请求)
添加有关支持格式的文档。

8.14.1 或更高版本

1.0.0

增强 (查看拉取请求)
添加仪表板并改进文档。将集成发布为 GA。

8.14.1 或更高版本

0.21.0

Bug 修复 (查看拉取请求)
增强映射并添加 geoip 丰富。

—

0.20.0

增强 (查看拉取请求)
使用标准摄取管道重写集成。

—

0.19.3

Bug 修复 (查看拉取请求)
将 http.request.body.bytes 添加到 ECS 映射。

—

0.19.2

增强 (查看拉取请求)
更改所有者

—

0.19.1

Bug 修复 (查看拉取请求)
修复 exclude_files 模式。

—

0.19.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。

—

0.18.0

增强 (查看拉取请求)
ECS 版本更新至 8.10.0。

—

0.17.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.9.0。

—

0.16.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

—

0.15.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.8.0。

—

0.14.0

增强 (查看拉取请求)
将 package-spec 版本更新至 2.7.0。

—

0.13.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.7.0。

—

0.12.1

增强 (查看拉取请求)
添加了类别和/或子类别。

—

0.12.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.6.0。

—

0.11.2

Bug 修复 (查看拉取请求)
更新文档以匹配字段定义。

—

0.11.1

Bug 修复 (查看拉取请求)
删除重复字段。

—

0.11.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.5.0。

—

0.10.1

增强 (查看拉取请求)
使用 ECS geo.location 定义。

—

0.10.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.4.0

—

0.9.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.3.0。

—

0.8.0

增强 (查看拉取请求)
更新至 ECS 8.2.0

—

0.7.0

增强 (查看拉取请求)
更新至 ECS 8.0.0

—

0.6.1

错误修复 (查看拉取请求)
使用新的 GeoIP 数据库重新生成测试文件

—

0.6.0

增强 (查看拉取请求)
添加 8.0.0 版本约束

—

0.5.4

增强 (查看拉取请求)
与指南统一

—

0.5.3

增强 (查看拉取请求)
更新标题和描述。

—

0.5.2

错误修复 (查看拉取请求)
修复了阻止软件包在 7.16 中工作的错误。

—

0.5.1

错误修复 (查看拉取请求)
修复检查 forwarded 标签的逻辑

—

0.5.0

增强 (查看拉取请求)
更新至 ECS 1.12.0

—

0.4.3

错误修复 (查看拉取请求)
需要堆栈的 7.14.1 版本

—

0.4.2

增强 (查看拉取请求)
转换为生成的 ECS 字段

—

0.4.1

增强 (查看拉取请求)
更新至 ECS 1.11.0

—

0.4.0

增强 (查看拉取请求)
更新集成描述

—

0.3.0

增强 (查看拉取请求)
设置 "event.module" 和 "event.dataset"

—

0.2.0

增强 (查看拉取请求)
更新至 ECS 1.10.0 并添加 event.original 选项

—

0.1.4

增强 (查看拉取请求)
更新至 ECS 1.9.0

—

0.1.0

增强 (查看拉取请求)
初始版本

—
« SQL 输入 Juniper SRX 集成 »