客觀結構化臨床考試中標準化病人評分效應的初步研究.pdf

1、客觀結構化臨床考試（Obiective Structured Clinical Examination，OSCE）是目前國際公認的評價臨床能力最好的方法，被國內外很多醫(yī)學院校廣泛的用于臨床能力的評估，一些國家將其應用于醫(yī)師資格準入考試中。
　　 OSCE包括標準化病人（Standardized Patients，SP）考站，其信度和效度受由其組成部分（病例、標準化病人、評價量表等）所引起的多種潛在測量誤差的影響，包括不適當的病例

2、內容，SP在病例中不準確、不穩(wěn)定的模擬及SP作為評分者引起的各種評分者誤差（Rater Effect）等。
　　 評分者效應，又稱評分者誤差（Rater Error），是評分者在使用評價量表進行測評時所產生的誤差，包括評分者寬容效應、評分者不一致性以及評分者偏差等。
　　 隨著OSCE的廣泛應用，越來越多的學者嘗試運用現代教育測量學的方法，分析影響OSCE的潛在測量誤差。項目反應理論中的多面Rasch模型（Many Fa

3、cets Rasch Model，MFRM）能夠對標準化病人側面、考生側面、題目側面進行分析，剔除評分過程中的主觀因素，在主觀評分的客觀化分析中具有廣泛的應用前景。
　　 本研究擬將多面Rasch模型引入OSCE中，將考生、標準化病人，題目難度作為側面，估計考生臨床能力，分析標準化病人評分的評分員誤差以及評價量表的應用情況等，為OSCE原始成績的應用、標準化病人的培訓、評價量表的使用、OSCE的質量控制提供科學依據。
　　

4、 資料來源與研究方法：
　　 本研究以參加中國醫(yī)科大學2009屆五年制本科臨床醫(yī)學專業(yè)畢業(yè)考試中客觀結構化臨床考試評價的標準化病人為研究對象，并且參加此次考試的考生同為研究對象?？荚囉?009年5月11日至5月22日在中國醫(yī)科大學附屬第一醫(yī)院臨床技能培訓中心進行。參加評價的標準化病人共23人，其中男7人，女16人；參加考試的五年制臨床醫(yī)學本科畢業(yè)生共352人，其中男154人，女198人。運用FACETS3.64.0編寫語句創(chuàng)建

5、多面Rasch模型，對考試數據進行分析。
　　 結果：
　　 一、數據與模型擬合度
　　 數據與模型擬合較好。
　　 二、MFRM總體分析結果
　　 最嚴格的標準化病人為SP21，最寬松的標準化病人為SP27；交流能力測試題最難的題目為第9題是否解釋做體格檢查的原因，明確解釋發(fā)現的體征及得出的結論，最簡單的題目為第1、2題，考生是否友好的與標準化病人交流，以及是否有禮貌的對待標準化病人。
　

6、　 三、對標準化病人側面的分析
　　 （一）標準化病人評分寬嚴程度的MFRM分析結果
　　 SP21的寬嚴程度值是0.74 logits（SE=0.03），是最嚴格的標準化病人，SP27的寬嚴程度值是-1.35logits（SE=0.04），是最寬松的標準化病人。標準化病人之間在寬嚴程度上存在很大差異。OSCE的管理者可以根據準化病人評分的寬嚴特點安排標準化病人的分組，將寬松的標準化病人與嚴格的標準化病人安排到同一組，

7、以均衡標準化病人的寬嚴程度，減少其對考生原始成績的影響，使得原始分數更接近于考生的真實值。
　　 （二）標準化病人評分整體自身一致性的MFRM分析結果
　　 23個標準化病人infit值域為0.5～4.16，其中SP10、SP33、SP31的infit值分別為4.16、1.9、1.52，infit值大于1.5，屬于自身一致性較差的標準化病人：SP24、SP8、SP15的infit值等于0.5屬于自身過于一致的標準化病人；

8、其他標準化病人infit值均在0.5～1.5之間，自身一致性較好。
　　 1、評分自身一致性較差的標準化病人
　　 以SP10和SP33為例，根據FACETS提供的misfitting評分表進一步了解評分不一致的根源，即SP10、SP33究竟是在對哪個考生的哪道題目評分時出現了哪種性質的不一致的評定結果。
　　 （1）標準化病人10。SP10在對題目4評分時，給出超過模型預期值兩個標準差以外的異常分數40個，在評

9、價題目8時，給出超過模型預期值兩個標準差以外的異常分數36個。由此可推斷SP10對評價量表第4題和第8題的理解不好，不能應用此題目準確的評價考生的能力，為考試的準確性帶來了影響。
　　 （2）標準化病人33。例如，SP33在對259號考生第10題的表現評分時，給出了0分，但是按照該標準化病人自身的寬嚴程度，對于這個能力水平的考生，模型期望SP33對此考生此題目評分2.7分，實際評分與模型期望分之間偏離了3.6個標準差，屬于一個異

10、常的評分結果。
　　 2、評分過于一致的標準化病人
　　 標準化病人24，8，15的infit值均為0.5，均評價了90名考生，但是三位標準化病人很少使用等級0和等級4，大部分評定使用等級1，2，3，呈現了趨中效應。
　　 四、對考生側面的分析
　　 352名考生的交流能力估計值范圍為：-1.1～1.13 logits，全距為2.24 logits，其中能力最高的考生為156號，能力值為1.1 logit

11、s（SE=0.17），能力最低的考生為268號，能力值為-1.13 logits（SE=0.13）。以標準化病人評分較為一致的146號考生以及標準化病人評分爭議性最大的121號考生為例，對121號考生評價的6個標準化病人中，有5位偏差分為負數。
　　 五、對題目側面的分析
　　 交流能力測試題最難的題目為第9題是否解釋做體格檢查的原因，明確解釋發(fā)現的體征及得出的結論，最簡單的題目為第1、2題，考生是否友好的與標準化病人交

12、流，以及是否有禮貌的對待標準化病人。
　　 結論：
　　 1.總體來說，本次考試難度適中，RUCIS量表適合評價本研究中臨床醫(yī)學本科畢業(yè)生交流能力。
　　 2.標準化病人評分寬嚴程度差別較大?？梢愿鶕藴驶∪说膶拠莱潭瓤紤]將較為嚴格的標準化病人與較為寬松的標準化病人搭配在同一個考試組以增加考試的公平性。
　　 3.個別標準化病人需加強其在評分等級以及評價量表中個別題目的理解上的訓練。
　　 4.