OmniEdu: Open Foundation Models for Learning and Teaching

Cet article présente OmniEdu, une famille ouverte de modèles de fondation pour l'apprentissage et l'enseignement K-12 construits par un réglage d'instructions équilibré. Le pipeline des auteurs combine plus de 100 ressources éducatives et générales en utilisant un nettoyage déterministe, un audit sémantique, un score de qualité et une sélection de diversité contrainte par un budget de jetons. Cela génère des dizaines de milliers d'exemples et des millions de jetons de réponse supervisés pour affiner des modèles de 4B, 9B et 27B, améliorant systématiquement les performances sur les benchmarks éducatifs.

Il produit 69 999 exemples et 15,96M de jetons de réponse supervisés, dont 60 951 exemples spécifiques à l'éducation.

OmniEdu-27B atteint 63,12 % d'EM et 76,69 % de F1 sur K12-Bench, 85,89 % sur MathFish, 86,95 % sur EDUMATH et 78,74 % dans le paramètre Scaffold de MathTutorBench.

Il obtient également la plus haute moyenne d'enseignement sur LongTutor parmi les modèles évalués, soit 3,02.