sh /usr/local/service/spark/bin/spark-sql \\--jars /usr/local/service/spark/setats-spark-bundle-3.3_2.12-<connector-version>.jar \\--conf spark.sql.setats.force.read.from.service=true \\--conf spark.sql.setats.force.read.service.data=true \\--conf spark.sql.session.timeZone='UTC' \\--conf spark.driver.cores=4 \\--conf spark.driver.memory=4g \\--conf spark.executor.memory=4g \\--conf spark.executor.cores=4 \\--conf spark.sql.extensions=com.tencent.oceanus.spark.extensions.SetatsSparkSessionExtensions \\--conf spark.sql.catalog.setats=com.tencent.oceanus.spark.SparkCatalog \\--conf spark.sql.catalog.setats.type=hive \\--conf spark.sql.catalog.setats.warehouse=cosn://<bucket>/warehouse/ \\--conf spark.sql.catalog.setats.uri=thrift://<metastore-host-1>:7004,thrift://<metastore-host-2>:7004
参数 | 说明 |
spark.sql.setats.force.read.from.service | 开启元数据读 Setats 服务 |
spark.sql.setats.force.read.service.data | 开启内存数据读 Setats 服务 |
spark.sql.session.timeZone | Spark SQL 会话时区。进行时间旅行查询时建议设置为 UTC，避免按时间点读取历史快照时出现时区偏移 |
spark.sql.extensions | Setats Spark Session 扩展类：com.tencent.oceanus.spark.extensions.SetatsSparkSessionExtensions |
spark.sql.catalog.setats | Setats Spark Catalog 实现类：com.tencent.oceanus.spark.SparkCatalog |
spark.sql.catalog.setats.type | Catalog 类型，如 hive 或 hadoop |
spark.sql.catalog.setats.warehouse | Setats Warehouse 地址 |
spark.sql.catalog.setats.uri | Hive Metastore 地址，仅 Hive Catalog 需要 |
SELECT *FROM `setats`.`testdb`.`demo_setats_table1`;
SELECT *FROM `setats`.`testdb`.`demo_setats_table1`WHERE dt = '20260319';
SELECTdt,COUNT(*) AS cntFROM `setats`.`testdb`.`demo_setats_table1`GROUP BY dt;
SELECT *FROM `setats`.`testdb`.`mysql_user_behavior_sink`;
系统表 | 说明 |
snapshots | 查询表的快照历史 |
manifests | 查询 Manifest 文件信息 |
manifests_detail | 查询 Manifest 明细信息 |
files | 查询当前快照对应的数据文件信息 |
files_with_dv | 查询带删除向量的数据文件信息 |
index_files | 查询索引文件信息 |
bucket_manifests | 查询 Bucket 与 Manifest 的关联信息 |
SELECT *FROM `setats`.`testdb`.`demo_setats_table1`.`snapshots`;
SHOW PARTITIONS `setats`.`testdb`.`demo_setats_table1`;
SELECT *FROM `setats`.`testdb`.`demo_setats_table1`VERSION AS OF <snapshot_id>;
SELECT *FROM `setats`.`testdb`.`demo_setats_table1`TIMESTAMP AS OF '<yyyy-MM-dd HH:mm:ss>';
`<catalog_name>`.`<database>`.`<table_name>`
文档反馈