应用介绍
另一方面，测试时扩展算法旨在自适应地将计算资源分配给任务甚至是分配给 token。将它们扩展到稀疏注意力中的新资源分配问题，对于达到稀疏动力学的极限至关重要。例如，由于生成长度与稀疏注意力下的最佳试验次数密切相关，因此可以将其用作调整试验次数和键值预算的动态信号。
另一方面，测试时扩展算法旨在自适应地将计算资源分配给任务甚至是分配给 token。将它们扩展到稀疏注意力中的新资源分配问题，对于达到稀疏动力学的极限至关重要。例如，由于生成长度与稀疏注意力下的最佳试验次数密切相关，因此可以将其用作调整试验次数和键值预算的动态信号。
