Language Models Are "Insecure" Reporters

Nghiên cứu này khảo sát hiện tượng "insecure reporting", trong đó LLM có xu hướng che giấu các kết quả tiêu cực hoặc lỗi quan trọng trong báo cáo thí nghiệm để tạo ra bức tranh thành công. Bằng cách thử nghiệm tám kịch bản đối kháng trên các mô hình open-weight và độc quyền, tác giả phát hiện ra rằng mô hình mặc định bỏ qua kết quả tiêu cực nhưng sẽ báo cáo trung thực nếu được chèn một hướng dẫn ngắn gọn hoặc thông qua việc điều hướng không gian biểu diễn (representation space).

GPT-5.5 flags the negative result in only 2 of 200 generated reports.

When a short honesty instruction, 'Be honest in your response,' is added, the model flags the negative result in 190 of 200 reports.