App目前進度

工程師
1. 做最後版本的修正

助理測試

• 毓芬意見

1.在綜合評量標中的工作訓練的部分

   若個案沒有工作的話，無選項可以做選擇，且無法跳到下一頁。

   (建議:前方會有自動將提醒程度做設定的功能，是否可在前面選項點完直接跳出設定，不必再多一個步驟去做點       選，可能會更有效率

2.在社會功能量表

   -獨立/能力與表現中的為自己選購衣服-表現的選項是否有誤(應為可以勝任、需要幫忙、不能、不知道)

   -職業/就業:若個案無工作，工作名稱該輸入何種，或是改成最近一次工作?且若輸入錯誤時，是否能更改為紅      

    底，方便知道哪邊需更正。

• 沛琦意見

1. 問個案問很久

2. 介面使用還算簡單

治療師

1. 2/23會開院會，請治療師討論評WHODAS的可行性。

CCT相關問題

1. 決斷點的δ值設定為何?

    通常δ的設定介於0.1-0.3, 0.2是最常看到的做法

2. LR的特性

    LR在1PL, 2PL下是單調遞增的，但在3PL下不是，所以以SPRT為測驗終止條件的CCT在           model為3PL的某些情況下，表現可能不是那麼理想，例如測驗長度會拉太長，但目前3PL
    非單調遞增的特性，鮮少有人研究。

3. GLR的用法

   若在在LR的分子或分母代入maximum likelihood ，此測驗終止條件稱為GLR，GLR的用法如    下：

   (1)當 估計出來的theta hat >= θo+δ ;  LR的分子代入ML，分母代 L(θo-δ) ，此時的LR會>1 ,        傾向通過

   (2)當 估計出來的theta hat <= θo -δ ;  LR的分母代入ML，分子代 L(θo+δ) ，此時的LR會<1,

       傾向不通過

   因此，可看出分子或分母代入ML的時機，是為了使LR能夠更快速的大於或小於upper bound    或 lower bound，達到分類的目的

   (3)當  θo+δ >theta hat > θo -δ ; LR的算法比照SPRT

4. CCT應用在CAT上，LR, upper bound 跟lower bound 是不是都要取log值?

    常見的作法有兩種，但其實是一樣的事，只有全加或全不加log的差別

第一種： LR=L(θo+δ)/L(θo-δ) ;  upper bound :A=(1-β)/ α      lower bound: B= β/(1-α)  

第二種： LR=log( L(θo+δ)/L(θo-δ) );  upper bound : log A         lower bound: log B    

需注意的只有： 當測驗長度達到上限需強制判定類別時，設定臨界值的方式略有差異

5. 分類測驗的目的是分類，當施測的題數達到預設的測驗長度上限，且LR仍未大於或小於   

    upper or lower bound時，分類測驗系統仍必須強制判定類別

    強制判定類別的情況出現的多寡可能跟下列因素有關：受試者的能力分配與cut point的相

    對位置、試題參數、δ的設定

    一般而言，多數受試者仍在正常程序下被判斷出類別，僅少部分受試者需強制判斷類別

疑問回覆

之前寫給施老師的問題

設定α=0.05, β=0.8, A=(1-β)/α= 4, B=16

資料第一題

起始theta=-2.34, cut-point=-3.2,題目難度為-3.36

Ltheta答對機率=exp(-2.34-(-3.36))/(1+exp(-2.34-(-3.36)))=0.73

Ltheta答錯機率=1-0.73=0.26

Lcut-point=exp(-3.2-(-3.36))/(1+(-3.2-(-3.36)))=0.53

L比值=1.36 or 0.49

這樣看起來不管第一題是答對或答錯，都會停止施測。感覺不太合理。如果去看每一題作答完的L值，後面會慢慢變大，或慢慢變小。

想請問是哪裡有算錯嗎?

另外想確認兩個地方

(1) 每一題的作答機率的theta值，是要代入上一題估計出的theta

    值對嗎? 不是做完該題後，疊代出的新theta值

(2) 決斷點的likelihood算法，是否就是每一題的

    exp(cut-point-該題beta值)/(1+exp(cut-point-該題beta值))

    相乘，沒有所謂答對或答錯機率。

問題回覆

1. β代表Type Ⅱ error rate，常看到的設定是介於0.05-0.10之間

2. A的算法正確，B的算法則需再確認，一般來說 B=β/(1-α)

3. SPRT的統計量為likelihood ratio (LR)，其計算方式請參考word檔

4. 計算LR時不需代入估計出的theta值；分子、分母會代固定的能力值，分別代表通過、不通       過的情形

5.不需算能力=cutpoint時的答對機率

CCT疑惑確認

(1) 決斷點的likelihood 確認
     
       一樣是依據受試者的答題反應，若答對的話選擇答對機率，答錯的話選擇答錯機率

(2)   A=(1-β)/α; B= β/ (1 -α)

       本以為β是我們統計中的power,  其定義其實是受試者雖被判斷為未精熟，但實際上為精熟  
             的可能性，α則為雖被判斷為精熟，實際上為未精熟的可能性。所以α與β都越小越好，
            文獻上有人設0.05 or 0.25

(3)  分析問題
            L  Ratio一開始<.005，理論上應停止施測，但發現如果所有題目全做完L最後會大於
            upper bound，需確認為何有此結果。

(4)  確認L值得變化趨勢

           是否為單調遞增或遞減?

Computerized Classification Test (CCT)

CCT 與 CAT主要差異

(1) 終止條件
      (1) CAT 通常為看precision (SE為可接受的範圍時停止施測)
      (2) CCT為看likelihood的比值 (受測者作答每題的答對或答錯機率的連乘積/cutpoint於每題
            的答題機率)，比值很大(A)或很小(B)時，代表兩者有顯著差異，則終止施測。
            A=(1-β)/α; B= β/ (1 -α)。

            Note:
            (1) 若到了試題的最後，還是兩者的比值還是無法達顯著，則在最後一題直接判斷，估
                  出的能力值是高於或低於cut-point

            (2) CCT跑完的結果單純看他的diagnostic accuracy

            (3) 試跑之後，發現L值在第一題的時候所有人都達顯著，待釐清是哪裡出問題。

(2) 選題 (可以與CAT同)

      1. 選能提供估計的能力值最大訊息量的題目
      2. 選cut-point 附近的題目

(3) 其他issue
      1. 若分三個層級則做兩次CCT
      2. 之前UCCT與MCCT的效能差不了多少，因為未用到面向間的相關。現在施老師在研究             如何在MCCT當中考慮到面向間的相關。

綜合評量資料分析

(1) 分析其construct validity

      分析方式 (順序)
      (1) Rasch
      (2) CFA
      (3) EFA

      結果
      用Rasch analysis, CFA分析結果都不好，改用EFA可以得到比較明確的結果。

      EFA
      (1) 能力向度
            (1) 若以單題分析，不太能解釋結果
            (2) 依各次面向將各小題加總，如衛生(儀容與異味加總)、環境整潔、生活規律財務管
                  理等整合為11題
            (3) Principal axis factoring因素粹取法+varimax轉軸(因看相關個因素間的相關性不高)
            (4) 結果可整合為三個因素
                  (1) 個人生活功能: 衛生儀容、環境整潔、財務管理、飲食善後、 人際溝通、
                                                  體適能、症狀 (7題)
                  (2) 休閒功能:休閒安排、社區資源使用 (2題)
                  (3) 工作功能: 生活規律(出席率)、工作 訓練(2題)
                   三因素解釋變異量為46.635%
ˊ
      (2) 提醒向度
            (1) 如果不限制因素數，則可分成2因素
                  (1) 個人生活休閒功能
                  (2) 工作功能
            (2) 若與能力向度相同，限制因素數為3，因素分類為
                   (1)個人生活功能:衛生儀容、環境整潔、財務管理、人際溝通
                   (2) 休閒功能: 休閒安排、社區資源使用
                   (3) 工作功能: 出席率、工作訓練
                 解釋變異量為53.891%

Note:
     (1) 人際關係項目(是否有朋友)於三因素的factoring皆很低，目前為移除不分析。
     (2) 飲食次面向包含三題: 購買、烹飪、善後
           (1) 購買題之概念有點模糊，與飲食與社區資源使用皆有很大的相關，難以切割，目前
                未將此題放入分析。建議直接改成購物，並可自己獨立一面向。
           (2) 烹飪因有太多人勾選不需自行烹飪，難以分析，也未放入分析當中。
           (3) 僅善後放入能力面向分析。
           (4) 飲食提醒面向，因無法切割到底是與生活功能有關(善後)，還是與社區資源使用有                    關(購買)，故也未放入分析當中。

(2) 分析Cronbach alpha (尚可至良好)
      (1) 依三因素分類分析其Cronbach alpha
             (1) 能力面向
                   (1) 個人生活功能: 0.77
                   (2) 休閒功能: 0.369
                   (3) 工作功能: 0.470
             (2) 提醒面向
                   (1) 個人生活功能: 0.778
                   (2) 休閒功能:0.694
                   (3) 工作功能:0.649

(3) 論文方向
      (1) Construct validity: 治療師可依三面向各自將分數加總
      (2) 信度分析

Poor accuracy of the GM-CAT

為何所有項目測完，GM-CAT的accuracy在age band 1 and 2不佳?

原因可能為cut-off point的計算方式不同:

1. CDIIT-GM在小小孩童為依每個月建立常模，計算其發展商數，
    發展商數在平均的2個SD以下為發展遲緩(DQ<70)，2個SD到1個SD之間為邊緣(70=<DQ<85)。
 
2.GM-CAT的cut-off point 將3-5個月pool在一起，6-11個月pool在一起。

孩童會因年齡(月份)不同，對應不同常模，得出不同的發展商數。
因此，孩童可能在同一個群組且估出來的能力值相同，
但因月份不同，而得出不同的發展商數，造成診斷上的差異。

建議:

年紀比較小的孩童，因每個月有各自的常模，可以使用原本的CDIIT-GM判斷是否發展遲緩。