该功能为企业版集算器中的功能。
集算器【工具】菜单下提供远程存储配置功能,用来连接各种远程存储平台,连接成功后,在SPL脚本中可通过Qfile 、Qmove 、 Qload 等函数操作远程存储平台中的文件。
【缺省远程存储】:远程存储配置中可以同时连接多个远程存储,IDE中使用Qfile等函数时,会连接缺省远程存储中选择的存储平台进行计算。缺省远程存储置空则表示不连接任何远程存储平台。
在远程存储配置窗口中,可选择远程存储类型,目前支持【Amazon S3】、【NFS】、【HDFS】、【Microsoft Azure】、【OSS】、【Mount】和【Google cloud storage】。
选择远程存储类型后,点击新建按钮,进入相对应的存储服务配置窗口,可配置远程存储平台相关的连接信息。
使用远程存储配置功能前,需要将【集算器安装目录】\esProc\q-extlib目录下远程存储类型对应的第三方jar放置到【集算器安装目录】\esProc\lib下,例如配置Amazon S3类型的远程存储信息:
需要将【集算器安装目录】\esProc\q-extlib的s3目录下的jar复制到【集算器安装目录】\esProc\ lib下,然后新建存储服务配置连接:
【启用缓存】:读取远程存储数据文件时,是否启用缓存生成缓存文件。启用缓存后会优先读取缓存文件。
【缓存路径】:远程存储平台文件计算时,文件对象默认会自动下载到【缓存路径/store Type/bucketName】位置,缓存路径缺省为系统缓存目录,如C:\Users\UserName\AppData\Roaming\__scudatacache\s3。
【最小空闲空间】:存放缓存文件目录的最小空闲空间,当剩余空间小于最小空闲空间时,会自动删除目录下的缓存文件。
【缓存块大小】:指定下载块的大小。
注意:
1,连接远程存储类型为【Google cloud storage】时,对应的jar存放在【集算器安装目录】\esProc\q-extlib的google-gcs目录下。在使用Google cloud storage类型时,要在启动文件中增加java代理参数: Djava.net.useSystemProxies=true ,例如IDE启动文件startup.bat:
@echo off
call "D:\raqsoft\esProc\bin\setEnv.bat"
start "dm" %EXECJAVAW% -Xms128m -Xmx9444m -cp %START_HOME%\esProc\classes;%RAQCLASSPATH% -Duser.language=zh -Djava.net.useSystemProxies=true -Dstart.home=%START_HOME%\esProc com.scudata.ide.spl.EsprocEE
2,连接远程存储类型为【NFS】时,对应的jar存放在【集算器安装目录】\esProc\q-extlib的nfs目录下。
3,连接远程存储类型为【HDFS】时,对应的jar存放在【集算器安装目录】\esProc\q-extlib的hdfs目录下。
4,连接远程存储类型为【Microsoft Azure】时,对应的jar存放在【集算器安装目录】\esProc\q-extlib的azure目录下。
5,连接远程存储类型为【OSS】时,对应的jar存放在【集算器安装目录】\esProc\q-extlib的oss目录下。