定義
- 查核點 4 專家審查一致性:醫師與 AI 回答同一份 IMPACT 20 題(每題 1–5 分),比較兩者總分(20–100)。主指標 ICC(2,1) 絕對一致,附 95% CI;目標 ≥ 0.85。少於 3 例不計算。
- ICC(3,1) 只看高低順序是否同步,不計醫師與 AI 的整體高低落差。平均分差與 95% 一致界限顯示落差大小。
- KPI 只算評分集。醫師在其他病例按需產生並評分的結果另外計數,不計入 KPI。
- 評分集的報告品質有高有低。報告分數太集中時,ICC 量不出一致性,所以另列 AI 分數分布。AI 分數以 20 題加總計,有缺題的報告不計入。
- 查核點 5 契合率:只針對報告第三章「病況分級與可能診斷」。醫師答完第三章四題後,在同一畫面回答與自己臨床判斷契合、部分契合或不契合;契合率 = 契合 / 正式流程報告的評分數。AI 總分平均、醫師總體評分、重生率同樣只算評分集裡的正式流程報告。
- KPI 一律用每位醫師對每個案例的第 1 版評分。