1.LLMCli外部库文件路径为:[安装目录]\ esProc\extlib\ LLMCli;润乾外部库核心jar为scu-chat-model-2.0.1.jar。
annotations-13.0.jar
jackson-annotations-2.15.2.jar
jackson-core-2.15.2.jar
jackson-databind-2.15.2.jar
kotlin-stdlib-1.8.21.jar
kotlin-stdlib-common-1.9.10.jar
kotlin-stdlib-jdk8-1.8.21.jar
okhttp3-sse-4.12.0.jar
okhttp-4.12.0.jar
okio-3.6.0.jar
okio-jvm-3.6.0.jar
第三方依赖jar目录中同时存放以下两个文件:
chat.db
config.json
chat.db用来存放搜索记录,每一条语句及其搜索结果都记录在此文件中。
config.json内容及解析如下:
{
"api_host":"https://……", //API地址
"api_key":"sk_*****", //API密钥
"model_name":"***", //模型名称
"connect_timeout": 120, //建立连接的超时时间,单位是毫秒
"read_timeout": 120, //获取响应的超时时间,单位是毫秒
"temperature": 0.7, //控制随机性/创造性,取值范围0.0(保守) ~ 1.0(活跃)
"top_p": 0.9, //控制候选词范围,取值范围0.1(狭窄) ~ 1.0(宽广)
"max_tokens": 512, //单次回复的最大长度,控制输出长短和成本
"think": true, //是否显示思考过程
"max_multi_turn_dial_size": 7, //保留的对话历史轮数
"system_prompt": "你是一个专业的scudata spl语言智能问答助手,不同于python, c++, javascript, vbs等其它语言,请参考SPL语言相关资料如实答复。" //设定模型的角色和任务,决定回答的基调和范围
}
注:
(1)以上文件,外部库压缩包中默认已放置,用户可根据实际应用环境灵活使用。
(2)如在执行函数时,报“数据库连接错误”的错误,请自行下载合适的版本的sqlite-jdbc.jar,放置在[安装目录]\common\jdbc中。
2. java环境要求为jre1.7及以上版本,若集算器自带的jre版本不满足版本要求,则需要用户自己安装高版本jre,并在[安装目录]\esProc\bin\config.txt文件中配置java_home,否则此步可以省略。
3. 当占用内存比较大时,用户可自己调整内存。Windows环境使用.exe启动时在config.txt里修改;使用.bat启动时在.bat文件中修改。Linux环境则是在.sh文件中修改。
以windows环境下修改config.txt为例:
java_home=C:\ProgramFiles\Java\jdk1.7.0_11;esproc_port=48773;btx_port=41735;gtm_port=41737;jvm_args=-Xms256m-XX:PermSize=256M-XX:MaxPermSize=512M-Xmx9783m-Duser.language=zh
4. 访问LLM可使用的外部库函数有llm_open()、llm_chat()、llm_close()。函数用法请参考【帮助】-【函数参考】。