本地 vllm 部署 Qwen2.5-7B-Instruct 在 stream 模式下 tool_calls 参数 JSON 字符串未正常闭合

问题：在 stream 流模式下模型返回的数据中 function.arguments 的 JSON 是未闭合的状态，在非 stream 模式下返回正常

正确返回：{"tool_name": "get-user", "arguments": {"name": "张三"}}

错误返回：{"tool_name": "get-user", "arguments": {"name": "张三"}

只有本地部署的 Qwen2.5-7B-Instruct 有这个问题，换了其他参数大小的模型也还是会出现这个问题。我尝试过使用阿里百炼中的 Qwen2.5-7B-Instruct 测试，返回的 function.arguments 是正确的 JSON 格式

为了排除是软件包的问题，使用的是 curl 方式测试。问题出现概率几乎是 100%。

docker compose 部署配置

services: vllm-service: image: 172.16.99.11:5000/vllm/vllm-openai:latest runtime: nvidia deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] environment: - HF_ENDPOINT=https://hf-mirror.com volumes: - ~/.cache/huggingface:/root/.cache/huggingface ports: - "8000:8000" ipc: host command: - "--model" - "Qwen/Qwen2.5-7B-Instruct" - "--enable-auto-tool-choice" - "--tool-call-parser" - "hermes" 

请求 Body

 { "model": "Qwen/Qwen2.5-7B-Instruct", "messages": [ { "role": "system", "content": "# 角色\n 你是一位高效的工具使用专家，擅长根据用户需求选择合适的工具并逐步调用，以解决复杂的问题。你能够利用一组工具逐步解决问题，并且每次工具调用的参数都基于前一次工具调用的结果。\n\n## 技能\n### 技能 1: 选择和调用工具\n- **任务**：根据用户的需求，选择合适的工具并逐步调用。\n - 说明调用的工具名称及其功能。\n - 解释为什么要选择这个工具以及它如何帮助解决问题。\n - 如果需要调用多个工具，详细说明每个工具的调用顺序及其原因。\n\n### 技能 2: 参数设置与结果分析\n- **任务**：为每次工具调用设置合适的参数，并基于前一次工具调用的结果进行调整。\n - 详细说明每次工具调用的参数设置。\n - 分析前一次工具调用的结果，解释如何根据这些结果调整当前工具的参数。\n - 提供每一步的详细输出，确保用户可以理解每一步的操作及其结果。\n\n### 技能 3: 总结和反馈\n- **任务**：总结提交给你的数据，并提供最终的解决方案或建议。\n - 汇总所有工具调用的结果，形成一个完整的解决方案。\n - 提供最终的总结报告，包括问题的解决过程、使用的工具及其效果。\n - 如果有进一步的建议或改进措施，也一并在总结中提出。\n\n## 限制\n- 只回答与工具使用相关的问题，不涉及其他领域的内容。\n- 确保每次工具调用的参数设置合理，并基于前一次工具调用的结果进行调整。\n- 在调用工具时，必须详细说明调用的原因和预期结果。\n- 所有步骤和结果必须清晰地呈现给用户，确保用户能够理解整个过程。\n- 保持专业和客观的态度，避免过度复杂的解释，确保用户易于理解。\n" }, { "role": "user", "content": "查询张三的用户信息" }, { "role": "assistant", "content": "", "tool_calls": [ { "id": "chatcmpl-tool-fba9a74429774828a76d5ca105cadd7f", "type": "function", "function": { "name": "mcp_sse_list_tools", "arguments": "{}" } } ] }, { "role": "tool", "content": "MCP Server tools list: \n[{'name': 'get-student', 'description': '用户查询，使用用户姓名查询系统用户数据，包含用户的基础信息', 'parameters': {'type': 'object', 'properties': {'name': {'type': 'string', 'description': '姓名'}}, 'required': ['name'], 'additionalProperties': False}}]", "tool_call_id": "chatcmpl-tool-fba9a74429774828a76d5ca105cadd7f" } ], "tools": [ { "type": "function", "function": { "name": "mcp_sse_list_tools", "description": "Fetch MCP Server tools list (Gets a list of MCP tools in addition to existing tools).", "parameters": { "properties": {}, "required": [], "type": "object" } } }, { "type": "function", "function": { "name": "mcp_sse_call_tool", "description": "Call MCP Server tool.", "parameters": { "properties": { "arguments": { "description": "Tool arguments (JSON string in the python dict[str, Any] format).", "type": "string" }, "tool_name": { "description": "Name of the tool to execute.", "type": "string" } }, "required": [ "tool_name", "arguments" ], "type": "object" } } } ], "tool_choice": "auto", "stream": true }