描述:
查询Spark数据库。
语法:
spark_query(con,sql/tableName)
备注:
外部库函数,外部库的使用请参考《外部库使用指南》。
通过sql语句或以文件的方式查询表数据并返回。
参数:
con |
数据库连接串,支持Spark连接、Hudi/Iceberg格式Spark连接、与S3关联的Hudi/Iceberg格式Spark连接。 |
sql |
sql语句,如select * from table。 |
tableName |
表名,以文件的方式查询数据。与.properties配置文件中warehouse参数组成url,比如:hdfs://localhost:9000/user/hive/warehouse/tableName,表示此表在hdfs中的位置。 |
选项:
@c |
返回游标。 |
@d |
不显示Hudi表自动生成的字段,仅对Hudi表生效。 |
返回值:
序表
示例:
|
A |
|
1 |
=spark_open("spark.properties") |
连接Spark数据库。 |
2 |
|
通过sql语句查询数据。 |
3 |
|
|
4 |
|
连接Hudi格式的Spark数据库。 |
5 |
|
返回的数据中不包含Hudi表自动生成的字段。 |
6 |
|
|
7 |
|
连接Iceberg格式的Spark数据库。 |
8 |
|
以文件的方式查询数据,与配置文件中warehouse参数组成完整位置:hdfs://localhost:9000/user/hive/warehouse/icetest1。 |
9 |
|
|
10 |
|
连接与S3关联的Hudi格式的Spark数据库。 |
11 |
|
查询数据并返回游标。 |
12 |
|
|
13 |
|
连接与S3关联的Iceberg格式的Spark数据库。 |
14 |
|
通过sql语句查询数据。 |
15 |
|
|