Analyzes the GPU prefill speed bottleneck for multimodal agents like OpenClaw and predicts the rise

Requirement Breakdown📅 2026/03/26
Source@karminski3
#Agent#API#Developer#GitHub#GPU#Manual Trigger#Medium Risk#Reusable#Semi-Automatic#代码仓库#多模态#报告#知识库
Chart comparing GPU TFLOPS requirements against Multimodal Agent TTFT latency showing the performance bottleneck
立个FLAG, 今年下半年应该是多模态Agent之年. 

龙虾(openclaw)这类的Agent框架本身system prompt 巨大无比 + 多轮对话积累的 prompt + 图片/视频模态本身嵌入后 token 量也不小, 所以目前最大的瓶颈反而又回到了 prefill 速度上, 即, 真正拼GPU性能的时代又回来了.

TFLOPS/TOPS 性能不够的情况下，多模态Agent的TTFT会非常长(10s以上), 导致完全不可用, 厂商会被迫压缩多模态模型的尺寸, 预测一波又会有一大堆新的 omni 模型出来了. 主打日常办事, 数学/代码能力不高, 但是多模态和Agent能力爆表且搭配极端注意力机制 (线性注意力/mHC/AttnRes)