这是一个创建于 382 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近有个场景，需要使用 gpt-4o-2024-08-06 的 100% json 格式输出。我用了一些卖 openai 代理的，发现暂时还没适配这种模式。
想咨询一下大家，如何能全的使用 openai 的 api 服务，因为之前我已经被封掉一个付费账户了
- 看有帖子讨论说，cloudflare workers 反代，也是会被封掉
或者大家有别的方法，能保证模型输出 100% 是 json 也可以，注意：是 100% json 输出。
openai 结构化输出官方文档: https://platform.openai.com/docs/guides/structured-outputs/structured-outputs
 | 1 Kite6 2024-09-26 21:26:48 +08:00 via Android 之前的版本也支持指定 json 输出，只是可能达不到 100%，但这个也有解决办法，用 json 解析一下返回结果，如果不满足重新请求生成一次就行 |
 | 2 tap91624 2024-09-26 21:29:14 +08:00 解析重试 |
 | 3 necomancer 2024-09-26 21:33:45 +08:00 买个 vps 自己做转发,或者本地代理，买靠谱的机场 |
 | 4 x86 2024-09-26 21:35:54 +08:00 美国 VPS+new api 去中转 |
 | 5 facebook47 2024-09-26 21:44:58 +08:00 via Android 野卡 |
 | 6 bobryjosin 2024-09-26 21:45:27 +08:00 用 azure 的就可以，没有限制即用即付，还是很稳的 |
 | 7 llcxx 2024-09-26 21:45:49 +08:00 必须使用 gpt-4o-2024-08-06 的模型吗？ 我这里有一个方法，必然可以生成 json ，但是需要忍受慢一些的速度。 使用 deepseek 的接口，规定 output 一定是 json 格式即可。 我的远程工作职位网站 w3offer.com 就是用的 deepseek + json output 格式方便处理。 JSON Output 在很多场景下，用户需要让模型严格按照 JSON 格式来输出，以实现输出的结构化，便于后续逻辑进行解析。 DeepSeek 提供了 JSON Output 功能，来确保模型输出合法的 JSON 字符串。 https://platform.deepseek.com/api-docs/zh-cn/guides/json_mode/ 需要稳定的 openai 服务，也可以联系我 share 。 |
 | 8 Int100 2024-09-26 21:46:22 +08:00 用 function call 可以做到 100% json ，业务就这么做的 |
 | 9 HeyCaptainJack OP @Int100 请问，我要翻译一个 text 文案为如下结果，要如何写这块呢，原文: We write your reusable computer vision tools. , 翻译后的结果需要如下: { "zh-CN": "我们编写可重用的计算机视觉工具。", "zh-TW": "我可重使用的工具。", "en": "We write your reusable computer vision tools. ", "ja": "あなたの再利用可能なコンピュタビジョンツルを作成します。", } |
| 10 HeyCaptainJack OP @Int100 试着写了一下，成功过，不过还是会出现报错： ERROR [ExceptionsHandler] 400 {"error":{"message":"Failed to call a function. Please adjust your prompt. See 'failed_generation' for more details.","type":"invalid_request_error","code":"tool_use_failed","failed_generation":"{\"translations\": {\"vi\": \"Chúng ti vit các cng c tm nhìn máy tính có th tái s dng ca bn\", \"zh-CN\": \"我们编写你的可复用计算机视觉工具\", \"zh-TW\": \"我撰你的可重使用工具\"}}"}} |
| 11 HeyCaptainJack OP @Kite6 omg ，这思路，失败了重试多次，直到解析成功对吧 |
 | 12 FgHh07ObvBiST5po 2024-09-26 23:19:08 +08:00 @HeyCaptainJack 留下你的邮箱, 给你最可靠的 AI API |
 | 13 mythabc 2024-09-26 23:20:52 +08:00 deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ，或者捕获异常进行重试。 |
 | 14 zqqian 2024-09-26 23:22:31 +08:00 用云服务的 serverless 反代还是比较稳的，也不用服务器，免费额度也够用 |
 | 15 XnEnokq9vkvVq4 2024-09-26 23:30:05 +08:00 用 openrouter 不就完了 |
 | 16 maymay5 2024-09-26 23:40:54 +08:00 |
 | 17 zhhmax 2024-09-26 23:48:58 +08:00 https://luee.net 我自己对接的 API 中转，可以用官方 demo 请求成功返回 json 。 |
| 18 zhhmax 2024-09-26 23:59:52 +08:00 @zhhmax 要百分百返回 json ，说白了就是请求的 body 里面，response_format.type=json_schema ，response_format.json_schema 有完整的 json 结构定义，然后用支持的模型请求即可。至于你说的买了一些 API 代理不支持是因为他们都用的某几个开源程序。我这边的中转是我自己对接的官方 API ，支持这种请求模式，而且都是纯官方 API 转发，没有混杂逆向 API 等其他不明来源，因此能保证 100% json 输出。 |
| 19 HeyCaptainJack OP @zhhmax 是的，找了几个，好多都是基于开源自己部署的，哈哈，确实不符合，兄弟你这个我今天试试， |
| 20 HeyCaptainJack OP @necomancer 靠谱的机场，说实话，我找了好多，也没找到完全安全的，正在准备 vps 转发 |
| 21 HeyCaptainJack OP 2024-09-27 07:32:38 +08:00 @llcxx 常规的翻译任务，对模型要求并不是很高，我来试试你推荐的这个 DeepSeek ，谢谢 |
| 22 HeyCaptainJack OP @hanqian 之前没听过，看了一下，挺全乎的，我来试试看 |
| 23 HeyCaptainJack OP @maymay5 呃，找了一个其他家的用 new api 的，暂不支持 |
| 24 maymay5 2024-09-27 09:52:33 +08:00 @HeyCaptainJack #23 这不是 newapi 的问题，newapi 在刚发布的时候就更新了的，很久就更新了，不支持的是中转混用了模型版本，jsonschema 在请求体里只有两个模型支持，这两个模型经常会被混用，如图所示  |
 | 25 TimePPT PRO 简单的 json 结构，4o 用 json mode ，sys prompt 给出输出示例，其实准确率还可以了。不用强行 json schema |
 | 27 jwangbyus 2024-09-27 14:04:55 +08:00 用 Azure 的，除了部署新模型比较慢之外还是比较稳定的。 |
 | 28 Quetalocatl 2024-09-30 12:47:52 +08:00 以下 json翻： ```json { "zh-CN": "", "zh-TW": "", "en": "We write your reusable computer vision tools. ", "ja": "", } ``` DeepSeek V2.5 用句就能翻了，果差不多。如果有非 json 的出其一下就可以吧？ |
Select Language