LLM

阅读(9) 标签: llmcli,

1.LLMCli外部库文件路径为:[安装目录]\ esProc\extlib\ LLMCli;润乾外部库核心jarscu-chat-model-2.0.1.jar

annotations-13.0.jar

jackson-annotations-2.15.2.jar

jackson-core-2.15.2.jar

jackson-databind-2.15.2.jar

kotlin-stdlib-1.8.21.jar

kotlin-stdlib-common-1.9.10.jar

kotlin-stdlib-jdk8-1.8.21.jar

okhttp3-sse-4.12.0.jar

okhttp-4.12.0.jar

okio-3.6.0.jar

okio-jvm-3.6.0.jar

第三方依赖jar目录中同时存放以下两个文件:

chat.db

config.json

chat.db用来存放搜索记录,每一条语句及其搜索结果都记录在此文件中。

config.json内容及解析如下:

{

  "api_host":"https://……",  //API地址

  "api_key":"sk_*****",  //API密钥

  "model_name":"***",  //模型名称

  "connect_timeout": 120,  //建立连接的超时时间,单位是毫秒

  "read_timeout": 120,  //获取响应的超时时间,单位是毫秒

  "temperature": 0.7,  //控制随机性/创造性,取值范围0.0(保守) ~ 1.0(活跃)

  "top_p": 0.9,  //控制候选词范围,取值范围0.1(狭窄) ~ 1.0(宽广)

  "max_tokens": 512,  //单次回复的最大长度,控制输出长短和成本

  "think": true,  //是否显示思考过程

  "max_multi_turn_dial_size": 7,  //保留的对话历史轮数

  "system_prompt": "你是一个专业的scudata spl语言智能问答助手,不同于python, c++, javascript, vbs等其它语言,请参考SPL语言相关资料如实答复。"  //设定模型的角色和任务,决定回答的基调和范围

}

注:

1)以上文件,外部库压缩包中默认已放置,用户可根据实际应用环境灵活使用。

2)如在执行函数时,报“数据库连接错误”的错误,请自行下载合适的版本的sqlite-jdbc.jar,放置在[安装目录]\common\jdbc中。

2. java环境要求为jre1.7及以上版本,若集算器自带的jre版本不满足版本要求,则需要用户自己安装高版本jre并在[安装目录]\esProc\bin\config.txt文件中配置java_home,否则此步可以省略。

3. 当占用内存比较大时,用户可自己调整内存Windows环境使用.exe启动时在config.txt里修改;使用.bat启动时在.bat文件中修改。Linux环境则是在.sh文件中修改。

windows环境下修改config.txt为例:

java_home=C:\ProgramFiles\Java\jdk1.7.0_11;esproc_port=48773;btx_port=41735;gtm_port=41737;jvm_args=-Xms256m-XX:PermSize=256M-XX:MaxPermSize=512M-Xmx9783m-Duser.language=zh

4. 访问LLM可使用的外部库函数有llm_open()llm_chat()llm_close()。函数用法请参考【帮助】-【函数参考】。