Friday, February 26, 2016

工作坊臨床評估整理

現行工作坊的評估方式:

(1) 一季一次,一年四次。
(2) 每季皆評綜合評量,第一季需加三個標準化測驗。
(3) 標準化測驗的選擇:
      a. 體適能
      b. 褚氏注意力
      c. 褚氏ADL
      d. 社會功能量表
(4) 治療師評估選擇主要考量:
      a. 操作型的比較可以直接了解個案的能力
      b. 特定功能的評量工具可以了解個案在哪個領域有問題
      b. 可以集體施測
(5) 為符合評鑑標準,評估需包含六大項 (綜合評量的設計)
      a. 獨立生活功能
      b. 休閒功能
      c. 職業功能
      d. 社會功能
      e. 社會支持系統評估
      f. 身心健康狀況

現行病歷
(1) 修改方向
      a. 評估工具有良好心理計量特性,以精準反應個案特性
          1. 主評估工具(綜合評量)驗證其心理計量特性
          2. 標準化評估工具的選擇
              2.1 褚氏注意力、ADL 心理計量特性驗證不佳,可考慮替換。            
                    褚氏注意力更換為C-DVT
                    ADL更換為Lawton(只評IADL)
                    *實行困難:
                       (1) C-DVT為使用電腦施測,目前沒有集體施測,施測耗時。
              2.2 加入標準化評估工具WHODAS (評量個案整體失能程度)
                    (1) 優點:
                          1. 為標準化評估工具,有良好心理計量特性,有常模
                          2. 簡短,容易施測(20分鐘)
                          2. 可作為良好的outcome measure (反應治療成校)
                          3. 目前國際使用的趨勢,與ICF結合
                          4. 包含六大領域
                               Cognition: understanding & communicating
                               Mobility: moving & getting around
                               Self-care: hygiene, dressing, eating & staying alone
                               Getting along: interacting with other people
                                Life activities: domestic responsibilities, leisure, work & school
                                Participation: joining in community activities
                    (2) 缺點:
                          1. 評量項目較rough,對治療師的用處較低 (知道有問題,但不知道哪裡有問題)
                          2. 需要一個一個interview,無法集體施測,對治療師負擔大。
                    (3) 考慮評估方式
                          (1) 替換現有之一個標準化評估測驗,一年評一次
                          (2) 在每周會談中訪談個案,完成評估
*WHODAS與綜合評量之比較


綜合評量
WHODAS
領域
獨立生活功能
Self-care

休閒功能
Lift activities

職業功能

社會功能
Getting along

社會支持系統評估
Participation in society

身心健康狀況



Cognition


Mobility
項目內容
Specific
General
因素結構
四個
六個

--------------------------------------------------------------------------------------------------------------------------
綜合評量分析結果

領域
次分項
(主分析題目)
項目1
(標色依各次分項加總)
評量概念
提醒向度
獨立生活功能
個人衛生儀容
儀容
表現
提醒


異味
表現

環境整潔
主動程度
表現
提醒


整齊度
表現

生活規律
出席天數
表現
提醒

財務管理
保管
能力
提醒


運用
能力

飲食
購買
能力
提醒


烹飪
能力


善後
能力

社區相關設施
了解程度
能力
提醒


使用項數
表現
休閒功能
休閒安排
了解程度
能力
提醒


安排
能力


執行項數
表現
職業功能
工作訓練
主動程度
表現
提醒


頻率
表現
社會功能
人際溝通
主動程度
表現
提醒


適切性
表現
社會支持系統
社會支持系統
關係
表現

身心健康功能
體適能
協調
表現



持續度
表現


精神狀態
症狀




門診


  

(1) 分析其construct validity

      分析方式 (順序)
      (1) Rasch
      (2) CFA
      (3) EFA

      結果
      用Rasch analysis, CFA分析結果都不好,用EFA可以得到比較明確的結果。

(2) 評量概念
      1. 前面項目: 混合個案能力與表現
      2. 提醒向度: 評量個案的表現
   
(3)  EFA分析結果
      (1) 能力向度
            (1) 若以各單題分析(儀容、異味....),不太能解釋結果
            (2) 依各次面向將各小題加總,如衛生(儀容與異味加總)、環境整潔(主動程度+整齊
                  度)、生活規律、財務管理等整合為11題
            (3) Principal axis factoring因素粹取法+varimax轉軸(因看相關個因素間的相關性不高)
            (4) 結果可整合為3個因素
                  (1) 獨立生活功能: 衛生儀容、環境整潔、財務管理、飲食善後、 人際溝通、
                                                  體適能、症狀 (7題)
                  (2) 休閒功能:休閒安排、社區資源使用 (2題)
                  (3) 工作功能: 生活規律(出席率)、工作訓練(2題)
                   三因素解釋變異量為46.635%
ˊ
      (2) 提醒向度
            (1) 如果不限制因素數,則可分成2因素
                  (1) 生活與休閒功能
                  (2) 工作功能
            (2) 若與能力向度相同,限制因素數為3,因素分類為
                   (1)個人生活功能:衛生儀容、環境整潔、財務管理、人際溝通
                   (2) 休閒功能: 休閒安排、社區資源使用
                   (3) 工作功能: 出席率、工作訓練
                 解釋變異量為53.891%

領域
次分項
(主分析題目)
項目1
(標色依各次分項加總)
評量概念
提醒向度
獨立生活功能
個人衛生儀容
儀容
表現
提醒

異味
表現
環境整潔
主動程度
表現
提醒

整齊度
表現
生活規律
出席天數
表現
提醒
財務管理
保管
能力
提醒

運用
能力
飲食
購買
能力
提醒

烹飪
能力

善後
能力
社區相關設施
了解程度
能力
提醒

使用項數
表現
人際溝通
主動程度
表現
提醒

適切性
表現
體適能
協調
表現


持續度
表現

精神狀態
症狀



門診


休閒功能
休閒安排
了解程度
能力
提醒

安排
能力

執行項數
表現
社區相關設施
了解程度
能力
提醒

使用項數
表現
職業功能
工作訓練
主動程度
表現
提醒

頻率
表現
生活規律
出席天數
表現
提醒

Note:
     (1) 人際關係項目(是否有朋友)於三因素的factoring皆很低,目前為移除不分析。
     (2) 飲食次面向包含三題: 購買、烹飪、善後
           (1) 購買題之概念有點模糊,與飲食與社區資源使用皆有很大的相關,難以切割,目前
                未將此題放入分析。建議直接改成購物,並可自己獨立一面向。
           (2) 烹飪因有太多人勾選不需自行烹飪,難以分析,也未放入分析當中。
           (3) 僅善後放入能力面向分析。
           (4) 飲食提醒面向,因無法切割到底是與生活功能有關(善後),還是與社區資源使用有                    關(購買),故也未放入分析當中。

(2) 分析Cronbach alpha (尚可至良好)
      (1) 依三因素分類分析其Cronbach alpha
             (1) 能力面向
                   (1) 生活功能: 0.77
                   (2) 休閒功能: 0.369
                   (3) 工作功能: 0.470
             (2) 提醒面向
                   (1) 生活功能: 0.778
                   (2) 休閒功能:0.694
                   (3) 工作功能:0.649

(3) 可能修改方向

      1. 修改用詞,皆為評量個案表現
          如:無法妥善保管 → 平時託他人保管
                               可妥善保管→ 平時自行妥善保管

           2. 飲食面向修改為:  準備餐點( 包括自行購買與烹飪)、飲食善後
                   另,不知是否需考慮飲食過量問題?

          3.  社會支持系統: 不屬於各次分項,看可刪除,或保留評鑑用 (自行單題計分)


                               

   


Monday, February 22, 2016

App目前進度

工程師
1. 做最後版本的修正

助理測試
  • 毓芬意見
1.在綜合評量標中的工作訓練的部分
   若個案沒有工作的話,無選項可以做選擇,且無法跳到下一頁。
   (建議:前方會有自動將提醒程度做設定的功能,是否可在前面選項點完直接跳出設定,不必再多一個步驟去做點       選,可能會更有效率
2.在社會功能量表
   -獨立/能力與表現中的為自己選購衣服-表現的選項是否有誤(應為可以勝任、需要幫忙、不能、不知道)
   -職業/就業:若個案無工作,工作名稱該輸入何種,或是改成最近一次工作?且若輸入錯誤時,是否能更改為紅      
    底,方便知道哪邊需更正。
  • 沛琦意見
1. 問個案問很久
2. 介面使用還算簡單

治療師
1. 2/23會開院會,請治療師討論評WHODAS的可行性。

Thursday, February 18, 2016

CCT相關問題

1. 決斷點的δ值設定為何?

    通常δ的設定介於0.1-0.3, 0.2是最常看到的做法

2. LR的特性

    LR在1PL, 2PL下是單調遞增的,但在3PL下不是,所以以SPRT為測驗終止條件的CCT在           model為3PL的某些情況下,表現可能不是那麼理想,例如測驗長度會拉太長,但目前3PL
    非單調遞增的特性,鮮少有人研究。

3. GLR的用法

   若在在LR的分子或分母代入maximum likelihood ,此測驗終止條件稱為GLR,GLR的用法如    下:
   (1)當 估計出來的theta hat >= θo+δ ;  LR的分子代入ML,分母代 L(θo-δ) ,此時的LR會>1 ,        傾向通過
   (2)當 估計出來的theta hat <= θo -δ ;  LR的分母代入ML,分子代 L(θo+δ) ,此時的LR會<1,
       傾向不通過

   因此,可看出分子或分母代入ML的時機,是為了使LR能夠更快速的大於或小於upper bound    或 lower bound,達到分類的目的

   (3)當  θo+δ >theta hat > θo -δ ; LR的算法比照SPRT

4. CCT應用在CAT上,LR, upper bound 跟lower bound 是不是都要取log值?

    常見的作法有兩種,但其實是一樣的事,只有全加或全不加log的差別
第一種: LR=L(θo+δ)/L(θo-δ) ;  upper bound :A=(1-β)/ α      lower bound: B= β/(1-α)  
第二種: LR=log( L(θo+δ)/L(θo-δ) );  upper bound : log A         lower bound: log B    
需注意的只有: 當測驗長度達到上限需強制判定類別時,設定臨界值的方式略有差異

5. 分類測驗的目的是分類,當施測的題數達到預設的測驗長度上限,且LR仍未大於或小於   
    upper or lower bound時,分類測驗系統仍必須強制判定類別
    強制判定類別的情況出現的多寡可能跟下列因素有關:受試者的能力分配與cut point的相
    對位置、試題參數、δ的設定
    一般而言,多數受試者仍在正常程序下被判斷出類別,僅少部分受試者需強制判斷類別

Thursday, February 4, 2016

疑問回覆


之前寫給施老師的問題

設定α=0.05, β=0.8, A=(1-β)/α= 4, B=16
資料第一題
起始theta=-2.34, cut-point=-3.2,題目難度為-3.36
Ltheta答對機率=exp(-2.34-(-3.36))/(1+exp(-2.34-(-3.36)))=0.73
Ltheta答錯機率=1-0.73=0.26
Lcut-point=exp(-3.2-(-3.36))/(1+(-3.2-(-3.36)))=0.53
L比值=1.36 or 0.49
這樣看起來不管第一題是答對或答錯,都會停止施測。感覺不太合理。如果去看每一題作答完的L值,後面會慢慢變大,或慢慢變小。
想請問是哪裡有算錯嗎?

另外想確認兩個地方
(1) 每一題的作答機率的theta值,是要代入上一題估計出的theta
    值對嗎? 不是做完該題後,疊代出的新theta值
(2) 決斷點的likelihood算法,是否就是每一題的
    exp(cut-point-該題beta值)/(1+exp(cut-point-該題beta值))
    相乘,沒有所謂答對或答錯機率。

問題回覆
1. β代表Type Ⅱ error rate,常看到的設定是介於0.05-0.10之間
2. A的算法正確,B的算法則需再確認,一般來說 B=β/(1-α)
3. SPRT的統計量為likelihood ratio (LR),其計算方式請參考word檔
4. 計算LR時不需代入估計出的theta值;分子、分母會代固定的能力值,分別代表通過、不通       過的情形
5.不需算能力=cutpoint時的答對機率


CCT疑惑確認

(1) 決斷點的likelihood 確認
     
       一樣是依據受試者的答題反應,若答對的話選擇答對機率,答錯的話選擇答錯機率

(2)   A=(1-β)/α; B= β/ (1 -α)

       本以為β是我們統計中的power,  其定義其實是受試者雖被判斷為未精熟,但實際上為精熟  
             的可能性,α則為雖被判斷為精熟,實際上為未精熟的可能性。所以α與β都越小越好,
            文獻上有人設0.05 or 0.25

(3)  分析問題
            L  Ratio一開始<.005,理論上應停止施測,但發現如果所有題目全做完L最後會大於
            upper bound,需確認為何有此結果。

(4)  確認L值得變化趨勢

           是否為單調遞增或遞減?



Tuesday, February 2, 2016

Computerized Classification Test (CCT)

CCT 與 CAT主要差異

(1) 終止條件
      (1) CAT 通常為看precision (SE為可接受的範圍時停止施測)
      (2) CCT為看likelihood的比值 (受測者作答每題的答對或答錯機率的連乘積/cutpoint於每題
            的答題機率),比值很大(A)或很小(B)時,代表兩者有顯著差異,則終止施測。
            A=(1-β)/α; B= β/ (1 -α)。

            Note:
            (1) 若到了試題的最後,還是兩者的比值還是無法達顯著,則在最後一題直接判斷,估
                  出的能力值是高於或低於cut-point

            (2) CCT跑完的結果單純看他的diagnostic accuracy

            (3) 試跑之後,發現L值在第一題的時候所有人都達顯著,待釐清是哪裡出問題。

(2) 選題 (可以與CAT同)

      1. 選能提供估計的能力值最大訊息量的題目
      2. 選cut-point 附近的題目

(3) 其他issue
      1. 若分三個層級則做兩次CCT
      2. 之前UCCT與MCCT的效能差不了多少,因為未用到面向間的相關。現在施老師在研究             如何在MCCT當中考慮到面向間的相關。