Sun Yutao

“做一个公司比较科学的方式，就是如果你最后想把这个模型做好，你肯定是集百家之长。”

“更大的模型才有更大的智能上限...模型的参数大小还是解决模型智能最本质的参数量。”

“MLA它本身就是MQA的一个增加的一个形式，所以说MLA其实本质上并没有带来新的东西，它只是一个更好的水道。”

“Using sparse attention naively on every layer has very little benefit on Blackwell... in decode, sparse attention may not even provide significant speedup over full attention.”

“Yoco implemented an architecture where all layers share a single KV cache.”