也写了一个 OpenAI ChatBot Bot 酱，基于微信测试号+客服消息

请问如何设置模型名称？

@babaohuang 现在只能用 3.5 ，稍后我加个环境变量吧。

刚在微博看到，正在配置，已 Star

海外服务器 nginx 代理了官方的 api 接口，可以直接使用吗？试了下没反应

@easychen 好的，谢谢大佬！

@babaohuang 加上了，通过 DEFAULT_MODEL 指定，通过 setModel 命令设置，通过 LOCK_MODEL 锁定命令。

https://github.com/easychen/botchan#%E5%AE%89%E8%A3%85%E5%92%8C%E9%85%8D%E7%BD%AE

不支持 arm 架构啊,难受了

是否支持 Azure 的 OpenAI 服务接口？简单部署了一下，对接 Azure 的接口不成功。

Web server started on port 9000
remove cache
ai ret {
error: {
code: 'DeploymentNotFound',
message: 'The API deployment for this resource does not exist. If you created the deployment within the last 5 minutes, please wait a moment and try again.'
}
}
Unhandled Rejection at: Promise {
<rejected> SyntaxError: Unexpected token o in JSON at position 1
at JSON.parse (<anonymous>)
at llmReply (file:///app/index.js:349:48)
at process.processTicksAndRejections (node:internal/process/task_queues:95:5)
} reason: SyntaxError: Unexpected token o in JSON at position 1
at JSON.parse (<anonymous>)
at llmReply (file:///app/index.js:349:48)
at process.processTicksAndRejections (node:internal/process/task_queues:95:5)

@easychen 感谢！

@sunnyguyu91 linux/amd64,linux/arm64,linux/arm/v7 都支持了。其他架构自己拉 dockerfile 编译一下就行。

@anubu 应该是之前的默认 deployment 没有对应上。我更新了一下，你拉取最新镜像试试。

模型和 deployment 映射如下：

```
{
'gpt-3.5-turbo':'gpt-35-turbo',
'gpt-3.5-turbo-0301':'gpt-35-turbo-0301',
'gpt-3.5-turbo-0613':'gpt-35-turbo-0613',
'gpt-3.5-16k':'gpt-35-16k',
'gpt-3.5-16k-0613':'gpt-35-16k-0613',
'gpt-4':'gpt-4',
'text-embedding-ada-002':'text-embedding-ada-002',
}
```

大佬，还有一些问题，就是这个可以支持连续对话吗？还有，支持自定义 system content 吗？

@babaohuang

① 不支持连续对话，本来打算支持引用，但测试号里边引用不了，所以没做。
② 支持 system message ，文档里边有写

大佬可以看下我的问题吗？

@Armor #4 我也是没反应，db.json 没有生成

@Armor 只要和 openai 兼容的接口都能用，不能用可能是你配置填错了，可以在本地搭建下，用同样的参数，自己查一下报错信息。

@Darin726

① 默认触发词是 方糖，不带触发词没有响应
② docker 需要对当前目录有写权限，或者你把 /data 挂接到其他地方去。

@easychen #16 就在本地搭建的，我看映射了本机 data 目录是一个空的文件夹，是不是目录权限的问题

@Armor 开了台腾讯云主机实测，没有发现问题。请仔细阅读文档进行配置，核对参数和限制。

另外可以查看 docker 日志，以确定问题。至于如何查看 docker 日志，可以问 GPT 。

@easychen #19
```
2023-10-09 21:51:40 Web server started on port 9000
2023-10-09 22:01:56 remove cache
2023-10-09 22:02:01 ai ret {
2023-10-09 22:02:01 id: 'chatcmpl-xxxxxxxxxxxx',
2023-10-09 22:02:01 object: 'chat.completion',
2023-10-09 22:02:01 created: 1696860117,
2023-10-09 22:02:01 model: 'gpt-3.5-turbo-0613',
2023-10-09 22:02:01 choices: [ { index: 0, message: [Object], finish_reason: 'stop' } ],
2023-10-09 22:02:01 usage: { prompt_tokens: 9, completion_tokens: 18, total_tokens: 27 }
2023-10-09 22:02:01 }
2023-10-09 22:02:01 remove cache
2023-10-09 22:02:01 get access token failed
```

docker 看 log

@Armor #20
这是我的 docker 启动命令
docker run -itd `
--name bot `
-e MP_APPID=wx `
-e MP_APPSECRET=123 `
-e MP_TOKEN=123 `
-e DEFAULT_API_URL=http://112.10.133.132 `
-e DEFAULT_API_WORD= `
-e DEFAULT_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx `
-e LOCK_API_URL=true `
-e LOCK_API_KEY=true `
-e DB_TYPE=json `
-v E:/OneDrive/docker/bot/data:/data `
-p 12288:9000 `
easychen/botchan:latest

@Armor get access token failed 是因为微信的 MP_APPID 或者 MP_APPSECRET 错了。

话说你这反引号能运行？我记得我文档应该是写反斜杠 \ 。

@easychen #22 windows 是反引号，linux 是\

@easychen #22 还真是，为啥 MP_APPSECRET ，我会复制错，我很纳闷

@easychen 有几个问题
1. 超时设定是否可以配置
2. token 过长时分段返回。否则就是无返回。

@mosliu 我稍后加到环境变量里边吧

@easychen 谢谢 辛苦了。
我自己改了。。代码写的丑就不提 pr 了。

还有几个地方也可处理下
1. 超时的提示
2. cf 提示 503 时候的提示
3. 返回过长时 sengMessage 分隔发送

@mosliu


# 模型配置
可以进一步指定模型参数优化需要的答复

- MAX_TOKEN=1000 #返回的最大 token 数
- TEMPERATURE=0.8 #模型的 temperature
- TIMEOUT=180 #超时秒数
- STREAM=true #是否采用流式传输

# 截断设置
过长文字可能导致内容无法返回，会截断为多条。

注意：受微信平台限制，每次互动，只能最多回复五条消息，因此不要将字数设置太低，可能导致超过五条

- REPLY_CHUNK_LENGHT=1000 #字数

@easychen 赞！！

能否增加个 azure openai 接口

@Silently 默认应该支持的，你试试？

deployment 按这个创建：
```
{
'gpt-3.5-turbo':'gpt-35-turbo',
'gpt-3.5-turbo-0301':'gpt-35-turbo-0301',
'gpt-3.5-turbo-0613':'gpt-35-turbo-0613',
'gpt-3.5-16k':'gpt-35-16k',
'gpt-3.5-16k-0613':'gpt-35-16k-0613',
'gpt-4':'gpt-4',
'text-embedding-ada-002':'text-embedding-ada-002',
}
```

@Armor 我好像也遇到了，有时候（尤其是刚开通时）测试号一直报错… 需要退出再重新登录

@easychen 我这边按照你说的创建 依旧报错 “"error":{"code":"DeploymentNotFound", "message":"The API deployment for this resource does not exist. If you created the deployment within the last 5 minutes, please wait a moment and try again."” 模型名称和部署名是一致的


环境变量为
- DEFAULT_API_URL=https://xxxx.openai.azure.com
- DEFAULT_API_WORD=
- DEFAULT_API_KEY=2xxxxxx
- DEFAULT_MODEL=gpt-35-turbo
- LOCK_API_URL=true
- LOCK_API_KEY=true
- LOCK_MODEL=true
- DB_TYPE=json

@Silently

我测试没有问题。

DEFAULT_MODEL 要用 gpt-3.5-turbo 或者不写。

@easychen 确实 改 gpt-3.5-turbo 或者不写就正常，感谢 OP

需要国内的 LLM 平台支持吗？可以来我们这边打一下黑客马拉松，有国内 LLM 厂商的支持，还有独立开发大佬作嘉宾，线上/线下均可参加，来线下能提供 7 天住宿顺便来大理到处玩玩，最高有 AWS 提供的 2.5 万美金算力支持 https://mp.weixin.qq.com/s/MTqByjk8j_ekAMfcxgtP1g