Circuit Hypernetworks for Quantum-Augmented Diffusion Language Models

L'étude présente HyperQ, qui ajoute des branches résiduelles quantiques conditionnées par les jetons à un modèle de langage à diffusion masquée gelé. Un hyperréseau de circuits léger émet des angles de rotation spécifiques aux jetons, des forces de couplage et des axes de mesure dans une structure clairsemée partagée. Une expression classique exacte permet au coût d'évaluation de croître linéairement avec le nombre de qubits, prenant en charge 16 à 64 qubits dans un modèle de base de 1,1 milliard de paramètres. Les résultats montrent que l'augmentation de la largeur du circuit fait passer le score moyen de 47,65 à 54,30, surpassant les références classiques tout en étant affiné sur moins d'exemples.

Across downstream benchmarks, increasing circuit width raises the average score from 47.65 to 54.30.

At 64 qubits, HyperQ exceeds the backbone and its low-rank-adapted counterpart by 4.71 and 3.67 points, respectively.

HyperQ is fine-tuned on 20,000 prompt-response pairs, compared with 200,000 for the classical baselines.