適性測驗
多元評估

國立中山大學身為頂尖研究型大學之一,多年來除了關注研究能量的蓄發之外,也持續關注教學品質的提升。做為高東屏區域教學資源中心的召集學校,本校積極將推展有成之教師評鑑與教學評量等教學品保制度、TA培訓及考核獎勵制度、開放跨校選課機制等經驗與資源分享予夥伴學校,協助區域內夥伴學校共同邁向卓越教學,全面提升教學品質。

本校自承接高東屏區域教學資源中心(以下簡稱本中心)計畫以來,持續以建置「具備區域特色的整合分享平臺」為計畫核心,並已完成「大學生學習成效評量 (Collegiate Outcomes of Learning Assessment, 簡稱COLA)」長期追蹤調查系統與「學生基礎能力與學科能力檢測系統」兩大平臺,提供區域內各夥伴學校蒐集所需的學生學習成效資料,藉以有效應用於各校辦理學術單位自我評鑑、校務評鑑、校務研究與建置以學生學習成效為導向的教學品質保證機制,落實以學生為主體的教學環境。

大學生學習成效評量

「大學生學習成效評量」長期追蹤調查系統是由國立中山大學師資培育中心及教務處教學發展中心開發,基於學生學習特質與生涯發展歷程的角度,透過系統化地蒐集學生校內外生活的學習經驗與學習成效,結合心理計量小組開發的心理計量訊息引擎(psychometrics information engine, PIE)進行分析,藉以瞭解影響不同年度、不同院系、不同背景的學生之學習成效的關鍵因素。

【五大特色】

量身打造年級專屬問卷

由於不同年級的學生有不同的發展目標與學習重點,因此,大學生學習成效評量針對不同年級的學生,依據發展任務的不同設計調查問卷。例如,大三學生正值職業探索與試探的階段,因此增加了職業意向、生涯自我效能等涉及生涯的相關議題。具體來說,「大學生學習成效評量」除了跨波次的核心構念追蹤調查外,亦依據不同年級學生的發展階段任務設計了相關調查重點,最終可分為「大一新生學習參與調查」、「大二學生學習經驗調查」、「大三學生學習成效調查」、「大四應屆畢業生學習成效調查」四個年段的調查。


彈性施測機制

由於各校在進行調查時,均面臨學生因填答大量題目而發生降低填答意願的情形,為此,本系統在部分量表規劃使用簡版測驗(short-form),減少學生施測題數;此外,為了讓施測更為彈性便利以及符合不同學校的需求,各夥伴學校可就自身需求選擇各年級問卷調查的構念,並得彈性加掛各校感興趣的議題題目,藉以符合學校發展特色所需。


即時回饋施測結果

學生線上填答完後,系統將立即回饋施測結果,包含各面向得分情形、所屬等第(低、中、高),各等第亦有明確定義與評語,另提供雷達圖、發展趨勢折線圖、特質剖面圖等簡明之圖表,有助於學生瞭解自身學習情形,並能有清楚的努力方向與學習目標,讓學生能不斷超越自我。學校或教師可依需求輸出全體學生施測報表,以自動化與智慧型施測報表匯出功能,提升系統上使用的彈性與便利性。這些資訊也開放提供系所主管以及導師可以登入系統查詢,俾便掌握學生學習狀況並提供適當的協助與諮詢。


師生學習診斷與輔導

在學生填答完畢後,便能獲得施測結果資訊回饋,且系所主管、教師也能在線上查看學生施測情形,並有交叉查詢功能,有效篩選出需要進一步輔導協助的學生。對教師而言,學習診斷報告有助於瞭解學生的學習概況,協助教師檢視並調整教學策略與輔導措施;對學生而言,得以協助學生進行自我診斷與評估,了解自己的學習投入情形,可針對學習上的弱點進行修正,進而提升學習成效,並試著為自己的學習負責。


施測結果多元運用

大學生學習成效評量施測結果可運用在多面向的資訊提供,對學校與系所層面而言,可作為校務研究、校務評鑑與系所評鑑等學生學習成效面向的資料佐證;對教師而言,能即時了解學生學習狀況,進而調整教學策略或建立輔導措施;對學生而言,則提供自我診斷與評估,做為自我學習調整的參考。

學生基礎能力與學科能力檢測平臺
高東屏區域教學資源中心為協助區域夥伴學校建立學生學習成效評估機制,自101年起建置基礎能力檢測平臺,包含中文、英文與資訊三個科目,夥伴學校使用情形與反應良好,故而在105年起進一步建置學科能力檢測平臺,目前系統已建置統計學、普通生物學及電子學三個科目,期能綜合形成性評量與總結性評量,逐步完善檢測內涵與架構。
【五大特色】

採用電腦適性化測驗

由於本中心建置之檢測系統是開放本校及夥伴學校使用,考量各校所處地域相距較遠,因此應以線上測驗方式進行較佳;然而進一步思考不同學校的施測時間可能不同,不宜於各校統一使用同一個題本;復以高等教育著重適性發展,在強調因材施教的同時,測驗也應該因著每位學生的能力不同,而有個別化的測驗,達到「因材施測」的作法。故此,本系統採用電腦適性測驗(computerized adaptive testing;CAT)技術,由系統依據考生作答反應即時估計考生能力表現,挑選適合學生的試題作答,使得每位考生需要作答的試題數可以有效減少,進而提升每位受試者的測驗效率,此一作法除了可以因材施測外,有效提升測驗效率、節省施測時間,為本系統最大的特色之一。

建立外部效度

本中心的英文能力檢測平臺開發至今,已獲多所學校採用,為了讓測驗結果有更具體的參照標準,在以多益(TOEIC)測驗為效標的情況下,得到英文基礎能力檢測平臺的效標關連效度為0.86,且題庫建置之初便依據歐洲語言共同參考架構(Common European Framework of Reference for Languages; CEFR)進行題庫規劃以及試題編製,顯示本中心開發之英文檢測平臺具備相當之效度,且符合夥伴學校教育目標,可用以作為各校檢核學習成效之用,對於各校施測及作為畢業門檻有更大的說服力。

彈性施測機制

由於各夥伴學校施測的需求可能不同,檢測平臺可以供各校選擇合適自身使用的題庫面向組合,使得檢測平臺在實用上更為彈性及便利。

本系統中文閱讀題庫召集人為高雄大學通識教育中心陳德興老師;寫作題庫召集人為高雄醫學大學語言與文化中心蓋琦紓老師。題庫所包含的面向如下表。
題型 面向
選擇題 子型
子音
語彙與修辭
語法
文化知識
閱讀測驗 文章賞析
人文社會領域
自然科學領域
工程領域
寫作測驗
本系統英文閱讀與寫作題庫召集人為臺灣大學外文系黃恆綜老師。題庫所包含的面向如下表。
題型 面向
閱讀 Incomplete sentences
Cloze
Reading comprehension
聽力 Question-response
Short conversations
Short talks
寫作 Short-answer questions
E-mail writing
Opinion paragraph
在施測結束後,各校可於線上即時取得所有考生的施測報告以及整體診斷訊息,做為評估學生學習成效的參考。而為因應參與施測學校的施測年段與科目數日益增加,學校需要進行多維度分析,例如某大學教師欲追蹤該校社科院學生歷年英文科學習成效進展趨勢,即可使用檢測系統提供的智慧型報表匯出功能,讓學校能利用此系統進行更精緻化的成績追蹤分析。

建置各校常模

因應區域內已有夥伴學校將檢測成績作為學生畢業門檻,因此本中心已建立各校基礎能力檢測常模,學校可彈性參照區域內常模或各自學校之常模作為學生成績參照標準,了解學生在區域學校或校內的相對表現,並可作為後續學生學習成效相關政策規劃之參考。

檢測-診斷-補救機制

本中心除了推動基礎能力檢測機制之外,已逐步擴充評量廣度,將檢測標的擴大至學科專業能力。因此擇定統計學、電子學、普通生物學開發具認知診斷功能的測驗,針對單元進行概念拆解,依據Q矩陣進行命題。學生施測後,將能依據答題情形分析其對於各個概念的精熟程度,教師則可依據學生的未精熟概念提供補救措施。同時,教師依拆解的學科概念開發後端線上補救課程,供學生線上自學使用。透過上述的測驗開發、資料分析、線上課程開發等過程,建構完整的「檢測-診斷-補救」之整合性平臺與機制。