Friday, February 26, 2016

GM-CAT遇到的問題

(1) LRI 值的設定過小 (<.0001,.0005,.0010)

     *業太認為實務上沒有太大差異

     *設這些數值的原因:

       因為每個孩童的reliability都很高,(每個都0.90以上)
       每個孩童每次能力估計後的信度幾乎都是0.01以下在跳動,
       若訂低一點的話,會變成大家很快都施測結束,然後大家估出來的能力都一樣(小小孩尤其明顯)。
       故設小一點避免估計不準的問題

    * 業太回應:

       我可以理解您關於LRI如此設定的說明,只是,這看起來是個奇妙的連鎖關係

       試題難度估計很分散 -> 能力估計值也很分散 -> 能力估計值變異數很大 -> 能力估計誤差相對很小 ->
       person reliability 很高(即便只施測很少試題) -> LRI必須設定的很細緻

       就我個人理解,將LRI設為終止條件之一就是希望每道施測的試題都能有信度方面的貢獻
       以避免施測太多無意義試題,拉低施測效率,但目前的情境卻是要避免施測太少試題...
       建議可以嘗試利用ConQuest使用Rasch model + latent regression的方法(可參考手冊第7章)來分 
       析現有資料,看看能否改善試題難度值過於分散之問題,以打破上述連鎖關係
       不然,當有IRT背景的reviewer提出類似的質疑時,我們可能很難說服對方(連我自己也不太能接受...)

   * 考慮:
       (1) GM-CAT的做法先不更動,因為CAT的方法沒有問題,且結果施測題數與心理計量特 
             性都還ok

       (2) 嘗試業太的方法於FM-CAT上,解決能力分布過大的問題。

1 comment:

  1. 【嘗試業太的方法於FM-CAT上,解決能力分布過大的問題】如果花的時間不多,就先試試看。

    ReplyDelete