数据写入

PDF

聚焦模式

字号

最后更新时间： 2024-12-04 16:25:52

概述
ES Serverless 服务支持通过 ES 原生 API、Logstash、Flink、Kafka 等方式将数据写入到索引中，如果您有云服务器 CVM、容器服务 TKE、云数据仓库TCHouse-C 等日志采集的需求，也支持在界面一站式可视化配置，只需简单的设置数据源、索引信息，即可将日志采集到索引中，并快速进行检索分析。本文介绍通过 Kibana 以及 Curl 命令写入单个文档、批量写入文档的相关操作。
访问控制
1. 在空间列表，单击对应的空间名称，进入空间基础信息页面。
﻿
2. 在访问控制模块，我们可以获取到索引的用户名与密码、内网访问地址、Kibana 内网访问地址以及 Kibana 公网访问地址，同时可设置 Kibana 公网访问策略。
﻿
3. 访问 Kibana：Kibana 的 Discover 与 Dev tools 功能已经内嵌到腾讯云控制台，因此，我们可直接在控制台使用检索分析能力，或是通过外链访问 Kibana。
通过控制台：空间详情页侧边栏单击检索分析，即可直接进入相关页面，其中，单击检索分析左侧 index pattern下拉列表，可以切换不同索引视图，日志检索对应 Discover，开发工具对应 Dev tools。
说明：
内嵌能力需要浏览器支持第三方 Cookie，如无法正常使用，请尝试开启浏览器第三方 Cookie 设置。
﻿
通过 Kibana 公网访问地址：单击 Kibana 公网访问地址，进入 Kibana 页面。
﻿
在 Kibana 登录页面，输入用户名和密码，用户名和密码可直接在用户管理页面中复制。
﻿
进入 Kibana 页面后，单击右上角三条杠，并单击 Dev tools，即可进入开发工具页面。
﻿
说明：
Kibana 公网访问有白名单访问机制，即不在访问策略中的 IP 无法访问 Kibana，用于提高访问安全。如页面提示“很抱歉，你没有权限访问”，可单击上图中的“Kibana 公网访问策略”，在弹窗中单击“点击自动获取当前 IP 地址”，将当前的 IP 地址填入进去。
﻿
写入单个文档
通过 Kibana Dev Tools
POST /索引名/_doc
{
"@timestamp": "2023-09-28T11:06:07.000Z",
"user":{
    "id" : "8a4f500"
  },
"message": "Login successful"
}
通过命令行
curl -X POST "项目空间访问地址/索引名/_doc/?pretty" -H 'Content-Type: application/json' -d'
{
  "@timestamp": "2023-09-28T11:06:07.000Z",
  "user": {
    "id": "8a4f500d"
  },
  "message": "Login successful"
}
﻿
﻿
﻿
﻿
注意
 您不能使用 PUT /索引名/_doc/文档 ID 的写入请求格式。如要指定文档 ID 写入，请使用 PUT /索引名/_create/文档 ID 的格式。
 请确保写入的数据中包含创建索引时设置的时间字段。
批量写入文档
通过 Kibana Dev Tools
PUT /索引名/_bulk?refresh
{"create":{ }}
{ "@timestamp": "2023-03-28T11:04:05.000Z", "user": { "id": "vlb44hny" }, "message": "Login attempt failed" }
{"create":{ }}
{ "@timestamp": "2023-03-29T11:06:07.000Z", "user": { "id": "8a4f500d" }, "message": "Login successful" }
{"create":{ }}
{ "@timestamp": "2023-03-30T11:07:08.000Z", "user": { "id": "l7gk7f82" }, "message": "Logout successful" }
通过命令行
curl -X PUT "项目空间访问地址/索引名/_bulk?refresh&pretty" -H 'Content-Type: application/json' -d'
{"create":{ }}
{ "@timestamp": "2023-03-28T11:04:05.000Z", "user": { "id": "vlb44hny" }, "message": "Login attempt failed" }
{"create":{ }}
{ "@timestamp": "2023-03-29T11:06:07.000Z", "user": { "id": "8a4f500d" }, "message": "Login successful" }
{"create":{ }}
{ "@timestamp": "2023-03-30T11:07:08.000Z", "user": { "id": "l7gk7f82" }, "message": "Logout successful" }
'
﻿
﻿
﻿
注意
 bulk 操作仅支持 create 。
 请确保写入的数据中包含创建索引时设置的时间字段。
﻿