OpenTumorBoard: A Real-World Benchmark of Multidisciplinary Tumor Board Discussion Trajectories
La recherche présente OpenTumorBoard, un benchmark du monde réel comprenant 611 cas de patients et 19 157 tours de discussion extraits d'enregistrements de réunions pluridisciplinaires. Le benchmark évalue les modèles sur des tâches de réponse spécialisée et de simulation complète de réunion. L'évaluation de 14 LLM frontières et médicaux polyvalents révèle des limites substantielles, les meilleurs modèles obtenant 3.43 sur 5 en équivalence clinique et 2.78 sur 5 en adéquation avec les conclusions enregistrées. L'ajustement supervisé et l'apprentissage par renforcement améliorent les performances sur un ensemble de test réservé.
OpenTumorBoard comprend 611 cas de patients et 19 157 tours de discussion répartis sur dix rôles de spécialistes transcrits à partir de 12 534 minutes d'enregistrements.
Les meilleurs modèles obtiennent 3.43 sur 5 en équivalence clinique avec les réponses des spécialistes et 2.78 sur 5 en adéquation avec les conclusions enregistrées des conseils.