- Elasticsearch 指南其他版本
- 8.17 中的新功能
- Elasticsearch 基础
- 快速入门
- 设置 Elasticsearch
- 升级 Elasticsearch
- 索引模块
- 映射
- 文本分析
- 索引模板
- 数据流
- 摄取管道
- 别名
- 搜索您的数据
- 重新排名
- 查询 DSL
- 聚合
- 地理空间分析
- 连接器
- EQL
- ES|QL
- SQL
- 脚本
- 数据管理
- 自动缩放
- 监视集群
- 汇总或转换数据
- 设置高可用性集群
- 快照和还原
- 保护 Elastic Stack 的安全
- Watcher
- 命令行工具
- elasticsearch-certgen
- elasticsearch-certutil
- elasticsearch-create-enrollment-token
- elasticsearch-croneval
- elasticsearch-keystore
- elasticsearch-node
- elasticsearch-reconfigure-node
- elasticsearch-reset-password
- elasticsearch-saml-metadata
- elasticsearch-service-tokens
- elasticsearch-setup-passwords
- elasticsearch-shard
- elasticsearch-syskeygen
- elasticsearch-users
- 优化
- 故障排除
- 修复常见的集群问题
- 诊断未分配的分片
- 向系统中添加丢失的层
- 允许 Elasticsearch 在系统中分配数据
- 允许 Elasticsearch 分配索引
- 索引将索引分配过滤器与数据层节点角色混合,以在数据层之间移动
- 没有足够的节点来分配所有分片副本
- 单个节点上索引的分片总数已超过
- 每个节点的分片总数已达到
- 故障排除损坏
- 修复磁盘空间不足的数据节点
- 修复磁盘空间不足的主节点
- 修复磁盘空间不足的其他角色节点
- 启动索引生命周期管理
- 启动快照生命周期管理
- 从快照恢复
- 故障排除损坏的存储库
- 解决重复的快照策略失败问题
- 故障排除不稳定的集群
- 故障排除发现
- 故障排除监控
- 故障排除转换
- 故障排除 Watcher
- 故障排除搜索
- 故障排除分片容量健康问题
- 故障排除不平衡的集群
- 捕获诊断信息
- REST API
- API 约定
- 通用选项
- REST API 兼容性
- 自动缩放 API
- 行为分析 API
- 紧凑和对齐文本 (CAT) API
- 集群 API
- 跨集群复制 API
- 连接器 API
- 数据流 API
- 文档 API
- 丰富 API
- EQL API
- ES|QL API
- 功能 API
- Fleet API
- 图表探索 API
- 索引 API
- 别名是否存在
- 别名
- 分析
- 分析索引磁盘使用量
- 清除缓存
- 克隆索引
- 关闭索引
- 创建索引
- 创建或更新别名
- 创建或更新组件模板
- 创建或更新索引模板
- 创建或更新索引模板(旧版)
- 删除组件模板
- 删除悬挂索引
- 删除别名
- 删除索引
- 删除索引模板
- 删除索引模板(旧版)
- 存在
- 字段使用情况统计信息
- 刷新
- 强制合并
- 获取别名
- 获取组件模板
- 获取字段映射
- 获取索引
- 获取索引设置
- 获取索引模板
- 获取索引模板(旧版)
- 获取映射
- 导入悬挂索引
- 索引恢复
- 索引段
- 索引分片存储
- 索引统计信息
- 索引模板是否存在(旧版)
- 列出悬挂索引
- 打开索引
- 刷新
- 解析索引
- 解析集群
- 翻转
- 收缩索引
- 模拟索引
- 模拟模板
- 拆分索引
- 解冻索引
- 更新索引设置
- 更新映射
- 索引生命周期管理 API
- 推理 API
- 信息 API
- 摄取 API
- 许可 API
- Logstash API
- 机器学习 API
- 机器学习异常检测 API
- 机器学习数据帧分析 API
- 机器学习训练模型 API
- 迁移 API
- 节点生命周期 API
- 查询规则 API
- 重新加载搜索分析器 API
- 存储库计量 API
- 汇总 API
- 根 API
- 脚本 API
- 搜索 API
- 搜索应用程序 API
- 可搜索快照 API
- 安全 API
- 身份验证
- 更改密码
- 清除缓存
- 清除角色缓存
- 清除权限缓存
- 清除 API 密钥缓存
- 清除服务帐户令牌缓存
- 创建 API 密钥
- 创建或更新应用程序权限
- 创建或更新角色映射
- 创建或更新角色
- 批量创建或更新角色 API
- 批量删除角色 API
- 创建或更新用户
- 创建服务帐户令牌
- 委托 PKI 身份验证
- 删除应用程序权限
- 删除角色映射
- 删除角色
- 删除服务帐户令牌
- 删除用户
- 禁用用户
- 启用用户
- 注册 Kibana
- 注册节点
- 获取 API 密钥信息
- 获取应用程序权限
- 获取内置权限
- 获取角色映射
- 获取角色
- 查询角色
- 获取服务帐户
- 获取服务帐户凭据
- 获取安全设置
- 获取令牌
- 获取用户权限
- 获取用户
- 授予 API 密钥
- 具有权限
- 使 API 密钥失效
- 使令牌失效
- OpenID Connect 准备身份验证
- OpenID Connect 身份验证
- OpenID Connect 注销
- 查询 API 密钥信息
- 查询用户
- 更新 API 密钥
- 更新安全设置
- 批量更新 API 密钥
- SAML 准备身份验证
- SAML 身份验证
- SAML 注销
- SAML 失效
- SAML 完成注销
- SAML 服务提供商元数据
- SSL 证书
- 激活用户配置文件
- 禁用用户配置文件
- 启用用户配置文件
- 获取用户配置文件
- 建议用户配置文件
- 更新用户配置文件数据
- 具有用户配置文件权限
- 创建跨集群 API 密钥
- 更新跨集群 API 密钥
- 快照和还原 API
- 快照生命周期管理 API
- SQL API
- 同义词 API
- 文本结构 API
- 转换 API
- 使用情况 API
- Watcher API
- 定义
- 迁移指南
- 发行说明
- Elasticsearch 版本 8.17.0
- Elasticsearch 版本 8.16.1
- Elasticsearch 版本 8.16.0
- Elasticsearch 版本 8.15.5
- Elasticsearch 版本 8.15.4
- Elasticsearch 版本 8.15.3
- Elasticsearch 版本 8.15.2
- Elasticsearch 版本 8.15.1
- Elasticsearch 版本 8.15.0
- Elasticsearch 版本 8.14.3
- Elasticsearch 版本 8.14.2
- Elasticsearch 版本 8.14.1
- Elasticsearch 版本 8.14.0
- Elasticsearch 版本 8.13.4
- Elasticsearch 版本 8.13.3
- Elasticsearch 版本 8.13.2
- Elasticsearch 版本 8.13.1
- Elasticsearch 版本 8.13.0
- Elasticsearch 版本 8.12.2
- Elasticsearch 版本 8.12.1
- Elasticsearch 版本 8.12.0
- Elasticsearch 版本 8.11.4
- Elasticsearch 版本 8.11.3
- Elasticsearch 版本 8.11.2
- Elasticsearch 版本 8.11.1
- Elasticsearch 版本 8.11.0
- Elasticsearch 版本 8.10.4
- Elasticsearch 版本 8.10.3
- Elasticsearch 版本 8.10.2
- Elasticsearch 版本 8.10.1
- Elasticsearch 版本 8.10.0
- Elasticsearch 版本 8.9.2
- Elasticsearch 版本 8.9.1
- Elasticsearch 版本 8.9.0
- Elasticsearch 版本 8.8.2
- Elasticsearch 版本 8.8.1
- Elasticsearch 版本 8.8.0
- Elasticsearch 版本 8.7.1
- Elasticsearch 版本 8.7.0
- Elasticsearch 版本 8.6.2
- Elasticsearch 版本 8.6.1
- Elasticsearch 版本 8.6.0
- Elasticsearch 版本 8.5.3
- Elasticsearch 版本 8.5.2
- Elasticsearch 版本 8.5.1
- Elasticsearch 版本 8.5.0
- Elasticsearch 版本 8.4.3
- Elasticsearch 版本 8.4.2
- Elasticsearch 版本 8.4.1
- Elasticsearch 版本 8.4.0
- Elasticsearch 版本 8.3.3
- Elasticsearch 版本 8.3.2
- Elasticsearch 版本 8.3.1
- Elasticsearch 版本 8.3.0
- Elasticsearch 版本 8.2.3
- Elasticsearch 版本 8.2.2
- Elasticsearch 版本 8.2.1
- Elasticsearch 版本 8.2.0
- Elasticsearch 版本 8.1.3
- Elasticsearch 版本 8.1.2
- Elasticsearch 版本 8.1.1
- Elasticsearch 版本 8.1.0
- Elasticsearch 版本 8.0.1
- Elasticsearch 版本 8.0.0
- Elasticsearch 版本 8.0.0-rc2
- Elasticsearch 版本 8.0.0-rc1
- Elasticsearch 版本 8.0.0-beta1
- Elasticsearch 版本 8.0.0-alpha2
- Elasticsearch 版本 8.0.0-alpha1
- 依赖项和版本
Elastic Microsoft SQL 连接器参考
编辑Elastic Microsoft SQL 连接器参考
编辑Elastic Microsoft SQL 连接器 是一个用于 Microsoft SQL 数据库的 连接器。此连接器使用 Elastic 连接器框架用 Python 编写。
查看此连接器的源代码(分支 8.17,与 Elastic 8.17 兼容)。
Elastic 托管连接器参考
编辑查看Elastic 托管连接器参考
可用性和先决条件
编辑此连接器在 Elastic 版本 8.8.0 及更高版本中作为托管连接器提供。要在 Elastic Cloud 中本地使用此连接器,请满足所有托管连接器要求。
创建 Microsoft SQL 连接器
编辑使用 UI
编辑要创建新的 Microsoft SQL 连接器
- 在 Kibana UI 中,从主菜单导航到 搜索 → 内容 → 连接器 页面,或使用全局搜索字段。
- 按照说明创建新的原生 Microsoft SQL 连接器。
有关其他操作,请参阅Kibana 中的连接器 UI。
使用 API
编辑您可以使用 Elasticsearch 创建连接器 API 创建新的原生 Microsoft SQL 连接器。
例如
resp = client.connector.put( connector_id="my-{service-name-stub}-connector", index_name="my-elasticsearch-index", name="Content synced from {service-name}", service_type="{service-name-stub}", is_native=True, ) print(resp)
const response = await client.connector.put({ connector_id: "my-{service-name-stub}-connector", index_name: "my-elasticsearch-index", name: "Content synced from {service-name}", service_type: "{service-name-stub}", is_native: true, }); console.log(response);
PUT _connector/my-mssql-connector { "index_name": "my-elasticsearch-index", "name": "Content synced from Microsoft SQL", "service_type": "mssql", "is_native": true }
您还需要创建一个 API 密钥供连接器使用。
用户需要集群权限 manage_api_key
、manage_connector
和 write_connector_secrets
以编程方式生成 API 密钥。
要为连接器创建 API 密钥
-
运行以下命令,替换指示的值。请注意响应中返回的
id
和encoded
值resp = client.security.create_api_key( name="my-connector-api-key", role_descriptors={ "my-connector-connector-role": { "cluster": [ "monitor", "manage_connector" ], "indices": [ { "names": [ "my-index_name", ".search-acl-filter-my-index_name", ".elastic-connectors*" ], "privileges": [ "all" ], "allow_restricted_indices": False } ] } }, ) print(resp)
const response = await client.security.createApiKey({ name: "my-connector-api-key", role_descriptors: { "my-connector-connector-role": { cluster: ["monitor", "manage_connector"], indices: [ { names: [ "my-index_name", ".search-acl-filter-my-index_name", ".elastic-connectors*", ], privileges: ["all"], allow_restricted_indices: false, }, ], }, }, }); console.log(response);
POST /_security/api_key { "name": "my-connector-api-key", "role_descriptors": { "my-connector-connector-role": { "cluster": [ "monitor", "manage_connector" ], "indices": [ { "names": [ "my-index_name", ".search-acl-filter-my-index_name", ".elastic-connectors*" ], "privileges": [ "all" ], "allow_restricted_indices": false } ] } } }
-
使用
encoded
值存储连接器密钥,并注意此响应中返回的id
值resp = client.connector.secret_post( body={ "value": "encoded_api_key" }, ) print(resp)
const response = await client.connector.secretPost({ body: { value: "encoded_api_key", }, }); console.log(response);
POST _connector/_secret { "value": "encoded_api_key" }
-
使用 API 密钥
id
和连接器密钥id
来更新连接器resp = client.connector.update_api_key_id( connector_id="my_connector_id>", api_key_id="API key_id", api_key_secret_id="secret_id", ) print(resp)
const response = await client.connector.updateApiKeyId({ connector_id: "my_connector_id>", api_key_id: "API key_id", api_key_secret_id: "secret_id", }); console.log(response);
PUT /_connector/my_connector_id>/_api_key_id { "api_key_id": "API key_id", "api_key_secret_id": "secret_id" }
有关所有可用连接器 API 的详细信息,请参阅Elasticsearch API 文档。
用法
编辑要将此连接器用作托管连接器,请使用连接器工作流程。请参阅Elastic 托管连接器。
用户需要 sysadmin
SQL Server 角色。请注意,需要 SQL Server 身份验证。不支持 Windows 身份验证。
有关其他操作,请参阅Kibana 中的连接器 UI。
兼容性
编辑以下与 Elastic 连接器框架兼容
- Microsoft SQL Server 版本 2017、2019
- Azure SQL
- 适用于 SQL Server 的 Amazon RDS
配置
编辑设置连接器需要以下配置字段
- 主机
-
托管 Microsoft SQL Server 的服务器主机地址。默认值为
127.0.0.1
。示例-
192.158.1.38
-
demo.instance.demo-region.demo.service.com
-
- 端口
- 托管 Microsoft SQL Server 的端口。默认值为
1433
。 - 用户名
- Microsoft SQL Server 帐户的用户名(仅限 SQL Server 身份验证)。
- 密码
- 要用于 Microsoft SQL Server 的帐户的密码(仅限 SQL Server 身份验证)。
- 数据库
-
Microsoft SQL Server 数据库的名称。示例
-
employee_database
-
customer_database
-
- 逗号分隔的表列表
-
以逗号分隔的表列表。如果值为
*
,Microsoft SQL 连接器将从配置的数据库中获取所有表中的数据。默认值为*
。示例-
table_1, table_2
-
*
此字段可以通过高级同步规则绕过。
-
- 架构
-
Microsoft SQL Server 架构的名称。默认值为
dbo
。示例
-
dbo
-
custom_schema
-
- 启用 SSL
- 切换以启用 SSL 验证。默认值为
False
。 - SSL 证书
-
SSL 证书的内容。如果禁用 SSL,将忽略
ssl_ca
值。展开以查看证书示例
-----BEGIN CERTIFICATE----- MIID+jCCAuKgAwIBAgIGAJJMzlxLMA0GCSqGSIb3DQEBCwUAMHoxCzAJBgNVBAYT ... 7RhLQyWn2u00L7/9Omw= -----END CERTIFICATE-----
- 验证主机
- 切换以启用主机验证。默认值为
False
。
文档和同步
编辑- 将跳过未定义主键的表。
- 如果特定表和数据库的
sys.dm_db_index_usage_stats
表的last_user_update
不可用,则将同步该表中的所有数据。
- 不会提取大于 10 MB 的文件。
- 权限不会同步。索引到 Elastic 部署的所有文档将对所有具有访问权限的用户可见。
同步规则
编辑基本同步规则 对于所有连接器都是相同的,并且默认可用。有关更多信息,请阅读同步规则。
高级同步规则
编辑此连接器支持用于远程过滤的高级同步规则。这些规则涵盖无法用基本同步规则表达的复杂查询和筛选场景。高级同步规则通过特定于源的 DSL JSON 代码片段定义。
需要完全同步,高级同步规则才能生效。
以下是此连接器的一些高级同步规则示例。
展开以查看示例数据
employee
表
emp_id | 姓名 | 年龄 |
---|---|---|
3 |
John |
28 |
10 |
Jane |
35 |
14 |
Alex |
22 |
* customer
表
c_id | 姓名 | 年龄 |
---|---|---|
2 |
Elm |
24 |
6 |
Pine |
30 |
9 |
Oak |
34 |
这些规则从 employee
和 customer
表中获取所有记录。这些表中的数据将分别同步到 Elasticsearch。
[ { "tables": [ "employee" ], "query": "SELECT * FROM employee" }, { "tables": [ "customer" ], "query": "SELECT * FROM customer" } ]
此规则仅从 emp_id
大于 5 的 employee
表中获取记录。只有这些经过筛选的记录才会同步到 Elasticsearch。
[ { "tables": ["employee"], "query": "SELECT * FROM employee WHERE emp_id > 5" } ]
此规则通过在 employee
中的 emp_id
与 customer
中的 c_id
匹配的条件下,在 employee
和 customer
表之间执行 INNER JOIN 来获取记录。此组合数据的结果将同步到 Elasticsearch。
[ { "tables": ["employee", "customer"], "query": "SELECT * FROM employee INNER JOIN customer ON employee.emp_id = customer.c_id" } ]
使用高级规则时,查询可以绕过配置字段 tables
。如果查询指定了未出现在配置中的表,则会发生这种情况。如果配置指定 *
以获取所有表,而高级同步规则仅请求部分表,也可能发生这种情况。
已知问题
编辑此连接器没有已知问题。有关影响所有连接器的任何问题,请参阅已知问题。
故障排除
编辑请参阅故障排除。
安全性
编辑请参阅安全性。
此连接器使用 通用数据库连接器源代码(分支 8.17,与 Elastic 8.17 兼容)。
查看 特定于此数据源的其他代码(分支 8.17,与 Elastic 8.17 兼容)。
自管理连接器
编辑查看 自管理连接器 参考
可用性和先决条件
编辑此连接器作为自管理 自管理连接器 提供。要使用此连接器,请满足所有自管理连接器要求。
创建 Microsoft SQL 连接器
编辑使用 UI
编辑要创建新的 Microsoft SQL 连接器
- 在 Kibana UI 中,从主菜单导航到 搜索 → 内容 → 连接器 页面,或使用全局搜索字段。
- 按照说明创建新的 Microsoft SQL 自管理连接器。
使用 API
编辑您可以使用 Elasticsearch 创建连接器 API 来创建一个新的自管理 Microsoft SQL 自管理连接器。
例如
resp = client.connector.put( connector_id="my-{service-name-stub}-connector", index_name="my-elasticsearch-index", name="Content synced from {service-name}", service_type="{service-name-stub}", ) print(resp)
const response = await client.connector.put({ connector_id: "my-{service-name-stub}-connector", index_name: "my-elasticsearch-index", name: "Content synced from {service-name}", service_type: "{service-name-stub}", }); console.log(response);
PUT _connector/my-mssql-connector { "index_name": "my-elasticsearch-index", "name": "Content synced from Microsoft SQL", "service_type": "mssql" }
您还需要创建一个 API 密钥供连接器使用。
用户需要集群权限 manage_api_key
、manage_connector
和 write_connector_secrets
以编程方式生成 API 密钥。
要为连接器创建 API 密钥
-
运行以下命令,替换指示的值。注意来自响应的
encoded
返回值resp = client.security.create_api_key( name="connector_name-connector-api-key", role_descriptors={ "connector_name-connector-role": { "cluster": [ "monitor", "manage_connector" ], "indices": [ { "names": [ "index_name", ".search-acl-filter-index_name", ".elastic-connectors*" ], "privileges": [ "all" ], "allow_restricted_indices": False } ] } }, ) print(resp)
const response = await client.security.createApiKey({ name: "connector_name-connector-api-key", role_descriptors: { "connector_name-connector-role": { cluster: ["monitor", "manage_connector"], indices: [ { names: [ "index_name", ".search-acl-filter-index_name", ".elastic-connectors*", ], privileges: ["all"], allow_restricted_indices: false, }, ], }, }, }); console.log(response);
POST /_security/api_key { "name": "connector_name-connector-api-key", "role_descriptors": { "connector_name-connector-role": { "cluster": [ "monitor", "manage_connector" ], "indices": [ { "names": [ "index_name", ".search-acl-filter-index_name", ".elastic-connectors*" ], "privileges": [ "all" ], "allow_restricted_indices": false } ] } } }
- 使用 API 密钥
encoded
值更新您的config.yml
文件。
有关所有可用连接器 API 的详细信息,请参阅Elasticsearch API 文档。
用法
编辑用户需要 sysadmin
服务器角色。请注意,需要 SQL Server 身份验证。不支持 Windows 身份验证。
要将此连接器用作 自管理连接器,请参阅 自管理连接器。有关其他用法操作,请参阅 Kibana 中的连接器 UI。
兼容性
编辑以下与 Elastic 连接器框架兼容
- Microsoft SQL Server 版本 2017、2019
- Azure SQL
- 适用于 SQL Server 的 Amazon RDS
配置
编辑设置连接器需要以下配置字段
-
host
-
托管 Microsoft SQL Server 的服务器主机地址。默认值为
127.0.0.1
。示例-
192.158.1.38
-
demo.instance.demo-region.demo.service.com
-
-
port
- Microsoft SQL Server 托管的端口。默认值为
9090
。 -
username
- Microsoft SQL Server 帐户的用户名。(仅限 SQL Server 身份验证)
-
password
- 用于 Microsoft SQL Server 的帐户密码。(仅限 SQL Server 身份验证)
-
database
-
Microsoft SQL Server 数据库的名称。示例
-
employee_database
-
customer_database
-
-
tables
-
以逗号分隔的表列表。如果值为
*
,则 Microsoft SQL 连接器将从配置数据库中存在的所有表中获取数据。默认值为*
。示例-
table_1, table_2
-
*
此字段可以通过高级同步规则绕过。
-
-
fetch_size
- 每个请求提取的行数。
-
retry_count
- 每次失败请求的重试次数。
-
schema
-
Microsoft SQL Server 架构的名称。默认值为
dbo
。示例
-
dbo
-
custom_schema
-
-
ssl_enabled
- 启用 SSL 验证。默认值为
False
。 -
ssl_ca
-
SSL 证书的内容。如果禁用 SSL,将忽略
ssl_ca
值。展开以查看证书示例
-----BEGIN CERTIFICATE----- MIID+jCCAuKgAwIBAgIGAJJMzlxLMA0GCSqGSIb3DQEBCwUAMHoxCzAJBgNVBAYT ... 7RhLQyWn2u00L7/9Omw= -----END CERTIFICATE-----
-
validate_host
- 启用主机验证。默认值为
False
。
使用 Docker 部署
编辑您可以使用 Docker 将 Microsoft SQL 连接器部署为自管理连接器。请按照以下说明操作。
步骤 1:下载示例配置文件
下载示例配置文件。您可以手动下载它,也可以运行以下命令
curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml
如果您的目录名称不同,或者您想使用其他配置文件名,请记住更新 --output
参数值。
步骤 2:更新自管理连接器的配置文件
使用以下设置更新配置文件以匹配您的环境
-
elasticsearch.host
-
elasticsearch.api_key
-
connectors
如果您针对 Dockerized 版本的 Elasticsearch 和 Kibana 运行连接器服务,则您的配置文件将如下所示
# When connecting to your cloud deployment you should edit the host value elasticsearch.host: http://host.docker.internal:9200 elasticsearch.api_key: <ELASTICSEARCH_API_KEY> connectors: - connector_id: <CONNECTOR_ID_FROM_KIBANA> service_type: mssql api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead
建议使用 elasticsearch.api_key
作为身份验证方法。但是,您也可以使用 elasticsearch.username
和 elasticsearch.password
来验证您的 Elasticsearch 实例。
注意:您可以通过简单地取消注释配置文件中的特定设置并修改其值来更改其他默认配置。
步骤 3:运行 Docker 镜像
使用以下命令使用连接器服务运行 Docker 镜像
docker run \ -v ~/connectors-config:/config \ --network "elastic" \ --tty \ --rm \ docker.elastic.co/enterprise-search/elastic-connectors:8.17.0.0 \ /app/bin/elastic-ingest \ -c /config/config.yml
有关更多详细信息,请参阅 elastic/connectors
存储库中的 DOCKER.md
。
在官方注册表中查找所有可用的 Docker 镜像。
我们还有一个使用 Docker Compose 的快速启动自管理选项,因此您可以一次启动所有必需的服务:Elasticsearch、Kibana 和连接器服务。有关更多信息,请参阅 elastic/connectors
存储库中的此README。
文档和同步
编辑- 将跳过未定义主键的表。
- 如果特定表和数据库的
sys.dm_db_index_usage_stats
表的last_user_update
不可用,则将同步该表中的所有数据。
- 不会提取大于 10 MB 的文件。
- 权限不会同步。索引到 Elastic 部署的所有文档将对所有具有访问权限的用户可见。
同步规则
编辑基本同步规则 对于所有连接器都是相同的,并且默认可用。有关更多信息,请阅读同步规则。
高级同步规则
编辑此连接器支持用于远程过滤的高级同步规则。这些规则涵盖无法用基本同步规则表达的复杂查询和筛选场景。高级同步规则通过特定于源的 DSL JSON 代码片段定义。
需要完全同步,高级同步规则才能生效。
以下是此连接器的一些高级同步规则示例。
展开以查看示例数据
employee
表
emp_id | 姓名 | 年龄 |
---|---|---|
3 |
John |
28 |
10 |
Jane |
35 |
14 |
Alex |
22 |
* customer
表
c_id | 姓名 | 年龄 |
---|---|---|
2 |
Elm |
24 |
6 |
Pine |
30 |
9 |
Oak |
34 |
这些规则从 employee
和 customer
表中获取所有记录。这些表中的数据将分别同步到 Elasticsearch。
[ { "tables": [ "employee" ], "query": "SELECT * FROM employee" }, { "tables": [ "customer" ], "query": "SELECT * FROM customer" } ]
此规则仅从 emp_id
大于 5 的 employee
表中获取记录。只有这些经过筛选的记录才会同步到 Elasticsearch。
[ { "tables": ["employee"], "query": "SELECT * FROM employee WHERE emp_id > 5" } ]
此规则通过在 employee
中的 emp_id
与 customer
中的 c_id
匹配的条件下,在 employee
和 customer
表之间执行 INNER JOIN 来获取记录。此组合数据的结果将同步到 Elasticsearch。
[ { "tables": ["employee", "customer"], "query": "SELECT * FROM employee INNER JOIN customer ON employee.emp_id = customer.c_id" } ]
使用高级规则时,查询可以绕过配置字段 tables
。如果查询指定了未出现在配置中的表,则会发生这种情况。如果配置指定 *
以获取所有表,而高级同步规则仅请求部分表,也可能发生这种情况。
端到端测试
编辑连接器框架使操作员能够针对真实数据源运行功能测试。有关更多详细信息,请参阅 连接器测试。
要执行 Microsoft SQL 连接器的 E2E 测试,请运行以下命令
make ftest NAME=mssql
为了加快测试速度,请添加 DATA_SIZE=small
标志
make ftest NAME=mssql DATA_SIZE=small
已知问题
编辑此连接器没有已知问题。有关影响所有连接器的任何问题,请参阅已知问题。
故障排除
编辑请参阅故障排除。
安全性
编辑请参阅安全性。
此连接器使用 通用数据库连接器源代码(分支 8.17,与 Elastic 8.17 兼容)。
查看 特定于此数据源的其他代码(分支 8.17,与 Elastic 8.17 兼容)。