CCT相關問題

1. 決斷點的δ值設定為何?

    通常δ的設定介於0.1-0.3, 0.2是最常看到的做法

2. LR的特性

    LR在1PL, 2PL下是單調遞增的，但在3PL下不是，所以以SPRT為測驗終止條件的CCT在           model為3PL的某些情況下，表現可能不是那麼理想，例如測驗長度會拉太長，但目前3PL
    非單調遞增的特性，鮮少有人研究。

3. GLR的用法

   若在在LR的分子或分母代入maximum likelihood ，此測驗終止條件稱為GLR，GLR的用法如    下：

   (1)當 估計出來的theta hat >= θo+δ ;  LR的分子代入ML，分母代 L(θo-δ) ，此時的LR會>1 ,        傾向通過

   (2)當 估計出來的theta hat <= θo -δ ;  LR的分母代入ML，分子代 L(θo+δ) ，此時的LR會<1,

       傾向不通過

   因此，可看出分子或分母代入ML的時機，是為了使LR能夠更快速的大於或小於upper bound    或 lower bound，達到分類的目的

   (3)當  θo+δ >theta hat > θo -δ ; LR的算法比照SPRT

4. CCT應用在CAT上，LR, upper bound 跟lower bound 是不是都要取log值?

    常見的作法有兩種，但其實是一樣的事，只有全加或全不加log的差別

第一種： LR=L(θo+δ)/L(θo-δ) ;  upper bound :A=(1-β)/ α      lower bound: B= β/(1-α)  

第二種： LR=log( L(θo+δ)/L(θo-δ) );  upper bound : log A         lower bound: log B    

需注意的只有： 當測驗長度達到上限需強制判定類別時，設定臨界值的方式略有差異

5. 分類測驗的目的是分類，當施測的題數達到預設的測驗長度上限，且LR仍未大於或小於   

    upper or lower bound時，分類測驗系統仍必須強制判定類別

    強制判定類別的情況出現的多寡可能跟下列因素有關：受試者的能力分配與cut point的相

    對位置、試題參數、δ的設定

    一般而言，多數受試者仍在正常程序下被判斷出類別，僅少部分受試者需強制判斷類別

疑問回覆

之前寫給施老師的問題

設定α=0.05, β=0.8, A=(1-β)/α= 4, B=16

資料第一題

起始theta=-2.34, cut-point=-3.2,題目難度為-3.36

Ltheta答對機率=exp(-2.34-(-3.36))/(1+exp(-2.34-(-3.36)))=0.73

Ltheta答錯機率=1-0.73=0.26

Lcut-point=exp(-3.2-(-3.36))/(1+(-3.2-(-3.36)))=0.53

L比值=1.36 or 0.49

這樣看起來不管第一題是答對或答錯，都會停止施測。感覺不太合理。如果去看每一題作答完的L值，後面會慢慢變大，或慢慢變小。

想請問是哪裡有算錯嗎?

另外想確認兩個地方

(1) 每一題的作答機率的theta值，是要代入上一題估計出的theta

    值對嗎? 不是做完該題後，疊代出的新theta值

(2) 決斷點的likelihood算法，是否就是每一題的

    exp(cut-point-該題beta值)/(1+exp(cut-point-該題beta值))

    相乘，沒有所謂答對或答錯機率。

問題回覆

1. β代表Type Ⅱ error rate，常看到的設定是介於0.05-0.10之間

2. A的算法正確，B的算法則需再確認，一般來說 B=β/(1-α)

3. SPRT的統計量為likelihood ratio (LR)，其計算方式請參考word檔

4. 計算LR時不需代入估計出的theta值；分子、分母會代固定的能力值，分別代表通過、不通       過的情形

5.不需算能力=cutpoint時的答對機率

CCT疑惑確認

(1) 決斷點的likelihood 確認
     
       一樣是依據受試者的答題反應，若答對的話選擇答對機率，答錯的話選擇答錯機率

(2)   A=(1-β)/α; B= β/ (1 -α)

       本以為β是我們統計中的power,  其定義其實是受試者雖被判斷為未精熟，但實際上為精熟  
             的可能性，α則為雖被判斷為精熟，實際上為未精熟的可能性。所以α與β都越小越好，
            文獻上有人設0.05 or 0.25

(3)  分析問題
            L  Ratio一開始<.005，理論上應停止施測，但發現如果所有題目全做完L最後會大於
            upper bound，需確認為何有此結果。

(4)  確認L值得變化趨勢

           是否為單調遞增或遞減?

Computerized Classification Test (CCT)

CCT 與 CAT主要差異

(1) 終止條件
      (1) CAT 通常為看precision (SE為可接受的範圍時停止施測)
      (2) CCT為看likelihood的比值 (受測者作答每題的答對或答錯機率的連乘積/cutpoint於每題
            的答題機率)，比值很大(A)或很小(B)時，代表兩者有顯著差異，則終止施測。
            A=(1-β)/α; B= β/ (1 -α)。

            Note:
            (1) 若到了試題的最後，還是兩者的比值還是無法達顯著，則在最後一題直接判斷，估
                  出的能力值是高於或低於cut-point

            (2) CCT跑完的結果單純看他的diagnostic accuracy

            (3) 試跑之後，發現L值在第一題的時候所有人都達顯著，待釐清是哪裡出問題。

(2) 選題 (可以與CAT同)

      1. 選能提供估計的能力值最大訊息量的題目
      2. 選cut-point 附近的題目

(3) 其他issue
      1. 若分三個層級則做兩次CCT
      2. 之前UCCT與MCCT的效能差不了多少，因為未用到面向間的相關。現在施老師在研究             如何在MCCT當中考慮到面向間的相關。