Hdfs

阅读(1029) 标签: hdfsfilecli,

1. HdfsFileCli外部库文件路径为:安装目录\ esProc\extlib\ HdfsFileCli;润乾外部库核心jarscu-hdfsFile-cli-2.10.jar

commons-cli-1.2.jar

commons-collections-3.2.2.jar

commons-configuration2-2.1.1.jar

commons-lang3-3.7.jar

guava-11.0.2.jar

hadoop-auth-3.2.0.jar

hadoop-client-runtime-3.2.0.jar

hadoop-common-3.2.0.jar

hadoop-hdfs-3.2.0.jar

hadoop-mapreduce-client-core-3.2.0.jar

hadoop-mapreduce-client-jobclient-3.2.0.jar

htrace-core4-4.1.0.jar

log4j-1.2.17.jar

protobuf-java-2.5.0.jar

slf4j-api-1.7.25.jar

slf4j-log4j12-1.7.25.jar

stax2-api-3.1.4.jar

woodstox-core-5.0.3.jar

注意:以上第三方依赖jar,外部库压缩包中默认已放置,用户可根据实际应用环境灵活使用。

hadoop2.8.3版本除上列jar外还需以下2jarhadoop-hdfs-client-2.8.3.jarhtrace-core4-4.0.1-incubating.jar

hadoop3.2.0版本除上列jar外还需以下5jarhadoop-client-runtime-3.2.0hadoop-hdfs-client-3.2.0.jarhtrace-core4-4.1.0-incubating.jarstax2-api-3.1.4.jarwoodstox-core-5.0.3.jar 

并且hadoop为高版本时需要使用commons-configuration2-2.1.1.jar代替低版本的commons-configuration-1.6.jar

2. 自行搜索网络资源下载以下四个文件,放到安装目录\bin

hadoop.dll 

hadoop.lib 

libwinutils.lib 

winutils.exe

注意:windows环境下需要以上四个文件,Linux环境中不需要,并且winutils.exe区分x86x64

3. java环境要求为jre1.7及以上版本,若集算器自带的jre版本不满足版本要求,则需要用户自己安装高版本jre,并在安装目录\ esProc\bin\config.txt文件中配置java_home,否则此步可以省略。

4. 当占用内存比较大时,用户可自己调整内存Windows环境使用.exe启动时在config.txt里修改;使用.bat启动时在.bat文件中修改。Linux环境则是在.sh文件中修改。

windows环境下修改config.txt为例:

java_home=C:\ProgramFiles\Java\jdk1.7.0_11;esproc_port=48773;btx_port=41735;gtm_port=41737;jvm_args=-Xms256m -XX:PermSize=256M -XX:MaxPermSize=512M -Xmx9783m -Duser.language=zh

5. 在集算器所在机器中,找到hosts文件,添加hdfs所在机器的IP地址与主机名称,例如hdfs服务所在机器的IP192.168.0.8,主机名为:masters,那么如下图设置:

6. 访问Hdfs可使用的外部库函数有hdfs_open()hdfs_close()hdfs_file()hdfs_dir()hdfs_exists()hdfs_upload()hdfs_download()等。函数用法请参考【帮助】-【函数参考】