spark_query()

阅读(2146) 标签: 查询, spark数据库, 序列,

描述:

查询Spark数据库。

语法:

spark_query(con,sql/tableName)

备注:

外部库函数,外部库的使用请参考《外部库使用指南》。

通过sql语句或以文件的方式查询表数据并返回

参数:

con

数据库连接串,支持Spark连接、Hudi/Iceberg格式Spark连接、与S3关联的Hudi/Iceberg格式Spark连接

sql

sql语句,如select * from table

tableName

表名,以文件的方式查询数据。与.properties配置文件中warehouse参数组成url,比如:hdfs://localhost:9000/user/hive/warehouse/tableName,表示此表在hdfs中的位置。

选项:

@c

返回游标。

@d

不显示Hudi表自动生成的字段,仅对Hudi表生效。

返回值:

序表

示例:

 

A

 

1

=spark_open("spark.properties")

连接Spark数据库。

2

=spark_query(A1,"select * from test1")

通过sql语句查询数据。

3

>spark_close(A1)

 

4

=spark_open("hudi.properties")

连接Hudi格式的Spark数据库。

5

=spark_query@d(A4,"select * from huditb1")

返回的数据中不包含Hudi表自动生成的字段。

6

>spark_close(A4)

 

7

=spark_open@i("iceberg.properties")

连接Iceberg格式的Spark数据库。

8

=spark_query(A7,"icetest1")

以文件的方式查询数据,与配置文件中warehouse参数组成完整位置:hdfs://localhost:9000/user/hive/warehouse/icetest1

9

>spark_close(A7)

 

10

=spark_open("hudi-s3.properties")

连接与S3关联的Hudi格式的Spark数据库。

11

=spark_query@c(A10,"select * from emp1")

查询数据并返回游标。

12

>spark_close(A10)

 

13

=spark_open("iceberg-s3.properties")

连接与S3关联的Iceberg格式的Spark数据库。

14

=spark_query(A13,"select * from test1")

通过sql语句查询数据。

15

>spark_close(A13)