Context Language Models

L'article présente les Context Language Models (CLMs), qui gèrent nativement le contexte en le traitant comme un fichier modifiable sans restrictions. Ce comportement intrinsèque déplace la gestion du contexte hors du contrôle externe et s'étend naturellement au partage de fichiers multi-agents. Les CLMs zéro-shot surpassent les stratégies de contexte de pointe, générant une précision supérieure de 11,4 % avec 21,5 % de FLOPs en moins sur BrowseComp-Plus, et des scores supérieurs de 5 % avec 59 % de FLOPs en moins sur EdgeBench. De plus, l'apprentissage par renforcement en ligne améliore les performances de Qwen3.5-9B sur BrowseComp-Plus de 47,6 % tout en utilisant 12 % de FLOPs en moins, et la réutilisation du cache de suffixes réduit le calcul côté serveur de 35 % par rapport à SGLang standard.

Atteint une précision supérieure de 11,4 % avec 21,5 % de FLOPs en moins sur BrowseComp-Plus.

Fournit des scores supérieurs de 5 % avec 59 % de FLOPs en moins sur EdgeBench 12 heures.

L'apprentissage par renforcement en ligne améliore les performances de Qwen3.5-9B sur BrowseComp-Plus de 47,6 % tout en utilisant 12 % de FLOPs en moins.