AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines

L'article présente AgSpec, un cadre conçu pour surmonter les limites du décodage spéculatif basé sur la recherche dans les pipelines d'agents de codage. En exploitant des corpus de session, d'espace de travail et globaux tout en indexant les fichiers ouverts dans le format d'émission de l'agent, AgSpec résout les problèmes de texte manquant. De plus, il délimite les longueurs de brouillon à l'aide de plafonds profilés hors ligne et les adapte en ligne via la rétroaction de vérification. Évalué sur deux benchmarks de codage multi-agents au niveau du dépôt, AgSpec surpasse cinq rédacteurs basés sur la recherche et EAGLE-3, augmentant le débit de génération par rapport au décodage autorégressif jusqu'à 4.37 fois pour une taille de lot de 1 et 4.76 fois pour une taille de lot de 16.

AgSpec augmente le débit de génération par rapport au décodage autorégressif jusqu'à 4.37fois pour une taille de lot de 1 et 4.76fois pour une taille de lot de 16.

AgSpec surpasse cinq rédacteurs basés sur la recherche et EAGLE-3 dans la plupart des contextes évalués sur deux benchmarks de codage multi-agents au niveau du dépôt.