Training Specialist Models without Reasoning Trajectories for Domain Expert Distillation

Cette étude examine des modèles spécialistes entraînés exclusivement sur des paires brutes question-réponse. En utilisant la distillation d'étudiants comme sonde agnostique, les auteurs découvrent que l'optimisation des spécialistes sélectionne implicitement dans un espace de trajectoire latent. L'analyse empirique sur 27 paires spécialiste-étudiant révèle que leurs profils de spécialisation et de généralisation sont exceptionnellement corrélés. De plus, le contrôle explicite de la dérive de distribution du spécialiste permet d'ajuster systématiquement le compromis entre la précision du domaine et la capacité générale pour les modèles enseignants et étudiants distillés.

L'étude analyse 27 specialist--student pairings.

Les profils de specialization--generalization entre spécialistes et étudiants se corrèlent de manière exceptionnellement forte.