InternLM 的 LMDeploy 在 0.17.0 及之前版本中,当以 DistServe 的预填充/解码分离(prefill/decode disaggregation)模式运行时,由于代理层(proxy)使用的是面向用户的会话 ID,而非内部调度器的密钥,导致无法正确释放调度器会话。未经身份验证的攻击者可以向代理端点发送补全请求(completion requests),从而累积未释放的调度器元数据和内存,直至预填充工作进程因内存溢出而被系统终止(out-of-memory killed)。
尽管我们使用了先进的大模型技术,但其输出仍可能包含不准确或过时的信息。神龙努力确保数据的准确性,但请您根据实际情况进行核实和判断。
| # | POC 描述 | 源链接 | 神龙链接 |
|---|
未找到公开 POC。
登录以生成 AI POC暂无评论