模型自部署问题记录

内容纲要

1、bge-reranker-large模型配置失败

日志明细:Verification failed, please check whether the parameters are correct: headers: {‘date’: ‘Thu, 24 Sep 2026 07:29:46 GMT’, ‘server’: ‘istio-envoy’, ‘x-request-id’: ‘9b09b8b6-2fed-4caa-ab41-2f34f8274541’, ‘content-length’: ‘0’}, status_code: 404, body: ×

失败原因:
url地址配置上画蛇添足,手动加入了模型自动会添加后缀名。

Keytime 界面填写内容:
API URL 填的:<code>http://ai-network-qwen.top/rerankerpath/v1/rerank</code>
Keytime 内部逻辑:Keytime 的 Rerank 适配器,会把填写的 API URL 当做 base_url,再在后面拼接上自己固定的后缀 <code>/rerank</code>

最终真实的访问地址变成:<code>http://ai-network-qwen.top/rerankerpath/v1/rerank/rerank</code>
多拼接了一层<code>/rerank</code>,这个 endpoint 不存在 → istio 返回 404!!这就是 404 根因。

解决方案:
严格按照配置信息填写,不要画蛇添足。

file

2、stream_idle_timeout 模型休闲超时

日志明细:
llm_service_duration\":180001
"response_code_details":"stream_idle_timeout",

复现背景:
部署框架:sglang,真武ppu,2 * 96GB,20cores 200GB内存
以上是我切qwen3.6-35B-A3B到qwen3.8-27B模型之后,一些同事遇到的请求超时的问题。从日志看,
就是stream_idle_timeout被设置为180s,超过这个值,就被停止响应了。这个值可以改吗?但是在哪里改?

失败原因:
上下文太长,导致prefill任务阶段,处理时间过长,一点都不输出给用户,导致触发空闲超时。
生成速度慢、超长冷 prompt prefill导致的超时两个问题

解决方案:
1、设置心跳保活
2、修改网关stream_idle_timeout的值
3、提高缓存命中率

解决办法
在客户端做“滑动窗口 + 摘要”:保留最近 N 轮完整对话,更早的历史用一段简短摘要替代,而不是直接删掉。这样既控制了输入大小,又不至于让模型完全丢失早期任务背景。

  1. 在网关或客户端做硬性拦截:如果单次请求的输入 token 估算值超过阈值(比如接近 vLLM 能快速处理完的大小),直接返回错误提示用户精简,而不是让请求进去卡 180 秒。

  2. 看到的 4096 如果出现在某个工具配置里,大概率是max output token 单次输出上限或某个子任务的 token 预算,而不是多轮对话的总窗口。真正管理多轮上下文时,优先考虑“摘要替换旧历史”而非“暴力删除”,才是避免模型“失忆”的合理做法。
    contextTokens,把它设得比 contextWindow 小,就能强制 OpenClaw 在到达你设定的阈值时触发压缩或截断,而不是等到撑爆 vLLM
    之前提到的 4096,在 OpenClaw 的语境里确实更接近 maxTokens(输出上限)或者某个工具的预算,而不是 contextTokens。对比文章里也提到 OpenClaw 的最大输出长度是 4096 tokens,这进一步印证了那个数字大概率是输出限制,而非上下文窗口。

3、DSML

目前PAI-EAS已经支持部署模型:DeepSeek-V4-Flash-INT8-W8A8。但是有同事反馈,这个模型不支持工具的调用,但是又有DSML格式的问题存在
部署刚新出的模型,一般都不适配,比如ds

原因定位:
部署刚新出的模型,显卡不适配

解决方案:
等ppu供应商基于自己的显卡做了适配之后,再去部署

4、镜像落后

背景:
DSW的vllm和sglang的版本过低,qwen-rerank-8B模型部署不了,这事能解决吗?DSW是断网环境,我只能到内置的镜像库里面找。但是vllm镜像版本过低,无法部署。

原因定位:
每个厂商自己的系统的镜像一般都落后于市场,比如DSW自部署就需要llm或者sglang的镜像文件。太低版本会导致一些最新模型无法部署(部署的参数命令都不对)

解决方案:
试试这里面的镜像,在DSW里面写镜像地址:
英伟达:
<code>https://help.aliyun.com/zh/cs/user-guide/acs-ai-container-image-version-release-record/?spm=a2c4g.11186623.help-menu-2584271.d_2_5_5_0.49fa1f26VkIwL8</code>
ppu:
https://help.aliyun.com/zh/document_detail/2864774.html?spm=a2c4g.11186623.help-menu-2864431.d_2_3_1_0.2ccbea73n4wq9l

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部
黔ICP备2025064559号 | 贵公网安备52022202000316号