「生成式AI應用於診斷性訪談」的研究題材（含執行中與後續）

可分成五大類：一、評估工具；二、虛擬考官；三、虛擬病人；四：AI輔助教學成效、其它（如逐字稿改良）

一、評估工具相關：
  1. 發展思覺失調診斷性訪談評量表（評量醫師表現）（含內容效度驗證）
二、虛擬考官
  1. 發展AI虛擬考官，以應用[思覺失調診斷性訪談評量表]評分逐字稿，再驗證其評分之穩定性與正確性（信度與效度）
  2. 驗證虛擬考官回饋之品質（穩定性與正確性）
三、虛擬病人
  1. 發展AI虛擬病人，再驗證其「接受診斷性訪談」表現之穩定性與正確性（信度與效度）
四、AI輔助教學成效
  1. AI輔助思覺失調診斷性訪談教學之成效
五、其它
  1.  優化逐字稿（以提升逐字稿中醫師的表現）之可行性與效果
＊以上皆可加入不同AI的表現比較（如比較 ChatGPT vs Gemini vs Claude）


我將這些研究劃分為三個主要階段，並呈現各研究之間的關聯性（圖）：

第一階段：工具與基礎評估
此階段專注於發展測量工具、測試 ChatGPT 的評分信效度、比較不同 AI 系統（如 Gemini、Claude）的評分品質，並探討 AI （甚至與專家比較）在回饋上的表現。

第二階段：數據處理與虛擬應用
此階段探討 AI 在逐字稿優化上的可行性、AI 對不同品質逐字稿的辨識能力，以及發展 AI「虛擬病人」用於訪談訓練的表現。

第三階段：臨床與教育應用
此階段著重於將前述成果應用於實際教學，評估 AI 輔助診斷性訪談訓練的整體成效。


 

留言

張貼留言

這個網誌中的熱門文章

經費申請（預算表與預計4月核銷項目）

圖片
編列預算項目與金額： 4月擬申請之項目與金額（ 已 調整，以粉紅色標示修改處 ） 1.  專家共識會議 （出席費） ( 階段一 ： 量表發展 ) 謝老師研究小組：建構與測試初版量表「 思覺失調診斷性會談表現評量表 (Schizophrenia Diagnostic Interview Performance Scale, SDIPS)」-- 預計15人次 （專家包含：量表發展/心理計量專家以及精神科醫師） ---擬以視訊會議執行 余主任邀請專家：提供SDIPS修改建議 -- 預計15人次 （專家包含：精神科醫師與量表發展專家） --擬以實體會議與視訊會議執行 2.  專家評估費 （出席費） ( 階段二 ： 建構 ChatGPT  虛擬考官 ) 謝老師研究小組：建構 ChatGPT  虛擬考官 -- 預計10人次 （專家包含：ChatGPT專家、量表發展/心理計量專家以及精神科醫師） ---擬以視訊會議執行 余主任邀請專家：驗證 ChatGPT  虛擬考官表現並提供回饋， 預計5人次 （專家為精神科醫師） --擬以實體會議或視訊會議執行 3.  專家評估費 （審查費） ( 階段三：虛擬考官信度與效度檢驗 ) 謝老師研究小組： 邀請階段二之 2 位專家分別操作  ChatGPT  虛擬考官，對 15 份逐字稿進行兩次評估。 預計30人次/份 --專家獨立/個別審查，填寫表單 4.  專家評估費 （審查費） ( 階段三：虛擬考官信度與效度檢驗 ) 邀請  2  位精神科或會談專家，獨立使用階段一之量表對同一逐字稿進行評分。 預計6～10人次/份 --專家獨立/個別審查，填寫表單
閱讀完整內容

2026年度研究計畫之目的與執行流程（完整架構）

討論議題： 1. 簡介研究計畫：以ChatGPT發展虛擬考官，以評論精神科醫師於思覺失調診斷性會談之表現 以會談逐字稿為評論/回饋標的 需先發展評量表「思覺失調診斷性會談表現評量表(Schizophrenia Diagnostic Interview Performance Scale, SDIPS)」，再提供給 ChatGPT作為評分與回饋之依據。 2. 簡介 SDIPS 3. 簡介ChatGPT 評分與回饋之概況 4. 專家任務說明 a. 評論 SDIPS，提供回饋。填寫表單。 b. 初步確認ChatGPT 評分與回饋之正確性與合適性。再確認 SDIPS之合適性。 計畫名稱：精神科會談逐字稿之虛擬考官發展：從會談表現評量表之發展至ChatGPT之應用 目的： 一、發展精神科醫師「思覺失調診斷性會談表現評量表(Schizophrenia Diagnostic Interview Performance Scale, SDIPS)」，以「會談逐字稿」作為評分依據。 二、運用 ChatGPT 建構SDIPS之虛擬考官，並驗證其可行性。 三、驗證 ChatGPT 虛擬考官在評估會談表現方面的一致性與正確性（信度與效度）。 此貼文，最後提出後續研究構想。 ------------------------------------------------------------------------ 以下說明各研究目的之執行流程/階段： 目的一、發展 SDIPS 之流程 i. 建構量表之向度 ii. 建構量表向度項目 iii. 建構量表項目量尺與評分標準 透過數次專家意見調查與修改，已確定初版SDIPS之向度、項目、量尺與評分標準。迄今（3月中旬）已完成初版量表，詳雲端檔案： 思覺失調診斷性會談表現評量表--逐字稿適用版 後續：邀請專家審查檢驗SDIPS之向度、項目、量尺與評分標準之設計是否合適（內容效度驗證），以建立具備內容效度之評量工具。 待召集專家會議時間，以討論執行流程。詳另一個  部落格貼文 ： 「思覺失調診斷性會談表現評量表」專家審查流程 」說明。 目的二、運用 ChatGPT 建構「醫師於思覺失調診斷性會談表現」之虛擬考官，並驗證其可行性。 目的三、生成式AI應用SDIPS評分之品質驗證（一致性與正確性...
閱讀完整內容

虛擬考官系統建構與驗證

目標：發展與驗證虛擬考官之表現。 說明：先建置虛擬考官，以將紙本的思覺失調診斷性會談表現評量表 (Schizophrenia Diagnostic Interview Performance Scale, SDIPS) 轉化為 AI 能夠理解與執行的評分邏輯，並輸出評分、評分依據以及回饋。再驗證考官表現的一致性與正確性（信度與效度）。 i. 依據階段一之SDIPS，以生成式AI應用SDIPS評分逐字稿，並輸出評分與評分依據。 後續： 測試與修改 ChatGPT prompt, 並完成其它逐字稿之評分與回饋。 已邀請專家設計逐字稿輸入與評分輸出介面，並依據階段一專家會議發展之量表，作為ChatGPT評分依據與進行可行性驗證，並提出改進建議優化提示語設計。 流程： 1. 組成跨領域專家小組：邀請 5 位專家組成開發小組，將包含 2 位精神科/會談專家，以及 3 位具備生成式AI 應用的專家。 2. 考官設計輸入與輸出介面（主要由謝老師團隊負責//余主任與專家協助確認）： 輸入設計：系統須能接收學員與病人（或虛擬病人）的「會談逐字稿」作為評估素材。 輸出設計：系統須依據SDIPS 的向度、項目與評分標準評分，相關內容詳初版「 SDIPS 」。並輸出各項目評分分數、評分依據、以及建議。 優化提示語設計（Prompt Engineering）：這是虛擬考官能否精準給分的關鍵。必須將評量表的每一項指標與評分準則（Rubric）明確寫入提示語中，確保 AI 模型能準確理解。 為提升評分的嚴謹性，應加入特定限制規則，例如：指示虛擬考官僅能針對學員「主動提問或引導」的內容給分，若病人（或逐字稿中）主動透露但非學員引導出的資訊，應忽略不計，以避免高估學員表現。 可行性驗證與邏輯檢視：由專家小組先投入少量逐字稿進行初步測試，審查虛擬考官的評分邏輯、分數合理性，並針對 AI 產生偏誤之處進行提示語的修正與優化。 3. 虛擬考官的一致性與正確性（信度與效度）檢驗 說明：要讓虛擬考官具備公信力，必須經過嚴格的心理計量學檢驗，證明其評分具備一致性，以及正確性（與人類專家具有高度一致性，或獲得人類專家的同意）。 任務：準備測試語料（逐字稿蒐集）：蒐集具代表性的實際或模擬「診斷性訪談」逐字稿（文獻建議約 30 份）作為測試素材。 ＊檢驗再測信度（Test-retest R...
閱讀完整內容