Home
學生控制台
註冊會員/登入
研究知情同意書
UeduGPTs
Aida 優學伴
Uedu Note
Uedu Jupyter
校版
課程評價
支援與訊息
我的學習畫像
學習特質探索
Uedu Mind
Uedu Fit
Garmin 儀錶板
運動紀錄
Wellness Toolkit
PALM
Uedu Brain Dev
Learning Portfolio
山巒地圖
我的證書
教師控制台
課程設定
EMI Toolkit
Assessment Toolkit
Interaction Toolkit
Forum Toolkit
AI 知識庫
教師社群
功能介紹
教學實踐研究
學術交流
教學工作坊
開發者 API
活動主辦
課程搜尋
FAQ常見問答
使用教學
更新紀錄
學生研究團隊招募
建立AI助教說明
教師研究社群
教學研究支援
Uedu Labs
隱私權政策
資料安全
研究倫理
支持 Uedu
Uptime 數據

UeduGPTs

--

Jupyters

14

AI 回覆桌面通知

AI 助教回覆完成時顯示桌面通知

聊天訊息通知

同學在討論區發送訊息時通知

聲音通知

每當有新通知時播放提示音

METHODOLOGY

Forum Scoring
討論區評分方法論

說明 Uedu 平台討論區如何透過加權積分制、Emoji 加分與懲罰機制、BERT 品質評估、AI 原創性偵測及線性成績映射,自動計算學生的討論參與成績。

1. 概述

Uedu 的討論區評分系統(Forum Scoring)透過加權積分制自動計算學生在課程討論區的參與成績。系統綜合考量發文類型(主題文、留言、回覆)、教師與 AI 的 Emoji 回饋,以及 BERT 語意品質評估,最終以線性映射產生成績分數。

教師可針對每門課程自訂計分參數(積分權重、門檻、滿分值),也可透過 Emoji 機制即時表達對個別貼文的肯定或懲罰。整個評分流程由排程任務(Cron Job)每小時自動重新計算,確保成績即時更新。

2. 計分模型

2.1 基礎積分

每位學生的基礎積分(total_points)由三種發文行為累計而成,每種行為對應可設定的積分值:

行為參數名稱預設值說明
發起主題pts_thread3在討論區建立新的討論主題
留言pts_comment2在他人主題下發表留言
回覆pts_reply1回覆他人的留言

基礎積分公式:

total_points = (threads × pts_thread) + (comments × pts_comment) + (replies × pts_reply) + emoji_bonus

2.2 計分對象

以下身分的使用者不計入評分:

  • 教師(teacher)
  • 助教(TA)
  • 管理員(admin)
  • AI 使用者

這些特權使用者的 Emoji 行為會影響學生積分(見第 3 節),但自身的發文不參與評分。

2.3 可設定的討論版

教師可選擇將哪些討論版(boards)納入評分範圍,未被選擇的版面之發文不計入積分。此設定以課程為單位。

3. Emoji 加分與懲罰

3.1 加分 Emoji

特權使用者(教師、助教、AI)可透過在學生貼文上按 Emoji 來給予額外積分:

Emoji名稱可使用者效果
👍thumbsup教師、助教、AI加分(每次 +1 bonus)
🎊confetti教師、助教加分(每次 +1 bonus)
🚀rocket教師、助教加分(每次 +1 bonus)

每位學生的 Emoji 加分總和受 bonus_max 上限限制(預設為 10),超過上限的加分不再累計。

3.2 懲罰 Emoji

Emoji名稱可使用者效果
😴zzz教師、助教、AI該篇貼文的積分歸零(0 分)

當一篇貼文被標記 zzz emoji 時,該貼文的基礎積分與所有加分 Emoji 均不計入,整篇以 0 分計算。

3.3 加分上限

為避免 Emoji 加分過度膨脹,系統設有 bonus_max 參數(可由教師設定)。一位學生在整個課程中所獲得的 Emoji bonus 總和不會超過此上限。

4. 教師覆核機制

當 AI 自動對學生貼文按下 Emoji(如 👍 或 😴)時,教師可能不同意 AI 的判斷。系統提供 Eyes(👀) Emoji 作為教師覆核機制:

  • 當教師或助教在某篇貼文按下 👀(eyes)Emoji 時,該篇貼文上所有 AI 的 Emoji 將被忽略
  • 教師自己的 Emoji 不受影響
  • 此機制讓教師可以快速覆寫 AI 的自動判斷,而不需要逐一移除 AI 的 Emoji
使用情境

例如:AI 對某篇淺層回覆按了 😴(歸零),但教師認為該回覆有價值。教師只需按一個 👀,AI 的 😴 即被忽略,該貼文恢復正常計分。

4.1 學生申請覆核

學生可以主動向教師申請覆核,有兩種使用情境:

情境一:AI 判定品質不足(💤 zzz)

當學生的貼文被 AI 判定為品質不足而歸零時,學生可以點擊「申請教師覆核」按鈕。教師審核後可選擇:

  • 覆核通過 — 系統自動為該貼文加上教師 👀 反應,AI 的 😴 判定被覆寫,恢復正常計分
  • 維持 AI 判定 — 貼文維持 0 分,學生端顯示「教師已維持 AI 判定」

情境二:申請教師關注

即使貼文未被 AI 標記 😴,學生仍可點擊「申請教師關注此貼文」,請教師特別注意此貼文的內容品質,教師審閱後可給予額外的 Emoji 加分(如 👍、🎉、🚀)。

4.2 教師收到通知的方式

學生提出覆核申請後,教師與助教會透過三種方式收到通知:

  1. 討論區內提示 — 教師進入討論區時,頂部顯示橘色橫幅「N 則貼文等待覆核」,可直接點擊查看並處理
  2. 郵件通知 — 自動發信給教師與助教(可在討論區通知偏好中關閉)
  3. 教師控制台 badge — 側邊欄「課程討論區」旁顯示紅色數字 badge,標示待覆核數量
注意

覆核功能僅在課程啟用討論區計分時才會出現。未啟用計分的課程不會顯示覆核申請按鈕。

5. AI 品質評估

系統整合 BERT 語意品質評估,透過外部 API(https://aptel-api.uedu.tw/webhook)對學生貼文進行自動品質分析。

5.1 評估流程

  1. 學生在討論區發文後,系統將貼文內容送至 BERT 品質評估 API
  2. API 回傳品質評分與分類結果
  3. AI 根據評估結果自動對貼文按下對應的 Emoji(👍 表示高品質、😴 表示低品質)
  4. 教師可透過 👀 覆核機制覆寫 AI 的判斷

5.2 品質維度

BERT 模型評估貼文的語意品質,主要考量內容的深度、相關性與原創性。評估結果作為 AI 自動給予 Emoji 的依據,但最終的積分仍以 Emoji 機制為準。

6. AI 原創性偵測

為了鼓勵學生以自己的話參與討論,系統在 BERT 品質評估之外,增加了打字速度分析LLM 原創性偵測兩道機制,綜合判定貼文是否為 AI 生成後貼上。偵測結果僅教師與助教可見,學生完全看不到。

6.1 Stage 0:打字速度分析

前端記錄學生從打開編輯器到送出貼文的時間,計算每分鐘字數(chars/min):

條件判定
字數 > 100 且每分鐘 > 150 字疑似貼上(paste_suspected
其他正常輸入
為什麼選 150 字/分?

一般中文打字速度約 30–60 字/分(含思考),150 字/分已遠超正常手打範圍,幾乎確定是從外部複製貼上。

6.2 Stage 2:LLM 原創性偵測

對字數 ≥ 80 的貼文,系統呼叫 LLM(GPT-5.4 mini)分析五個語言特徵維度:

維度說明
詞彙多樣性AI 文本通常詞彙豐富但缺乏口語化表達或錯別字
結構規律性AI 傾向使用完整段落結構、首先/其次/最後等過渡詞
語氣一致性AI 文本語氣始終如一,不像人類會隨內容情緒波動
填充詞密度人類常用「嗯」「然後」「就是」等口語填充,AI 較少使用
具體性AI 傾向概括性描述,人類較常提及個人經歷或課堂細節

LLM 綜合五個維度產出 ai_likelihood(0.0–1.0),代表內容為 AI 生成的可能性。

6.3 綜合判定規則

系統根據打字速度與 LLM 偵測結果,採用雙門檻制決定最終 Emoji:

字數打字速度LLM 結果Emoji計分效果
< 80正常不執行照 BERT正常計分
80–100正常ai ≥ 0.7😴 zzz不計分
80–100正常ai < 0.7照 BERT正常計分
> 100疑似貼上ai ≥ 0.5😴 zzz不計分
> 100疑似貼上ai < 0.5不給原點數(不獎不罰)
> 100正常速度ai ≥ 0.7😴 zzz不計分
> 100正常速度ai < 0.7照 BERT正常計分
雙門檻設計原理

疑似貼上的門檻為 ai ≥ 0.5(較嚴格),因為已有打字速度異常作為佐證,LLM 稍微懷疑就判定。正常速度的門檻為 ai ≥ 0.7(較寬鬆),因為只有 LLM 一個訊號,需要更高信心才判定。

6.4 容錯處理

  • BERT 失敗:品質預設為中性(quality=1),繼續執行 LLM 偵測
  • LLM 失敗 + 疑似貼上:不給 Emoji(不獎不罰),避免誤發 👍
  • LLM 失敗 + 正常速度:照 BERT 結果
  • BERT + LLM 都失敗:不給 Emoji,學生拿原點數,不會因系統故障被誤判

6.5 教師端顯示

教師與助教在討論串詳情頁可看到偵測標記(顯示於作者名稱旁):

  • 疑似貼上 — 打字速度異常,tooltip 顯示每分鐘字數
  • AI 85% — ai_likelihood ≥ 0.7
  • AI 55% — ai_likelihood 0.4–0.7
  • AI 20% — ai_likelihood < 0.4

學生端完全看不到任何偵測標記。教師可透過 👀 覆核機制覆寫偵測結果。

7. 成績計算

6.1 線性映射公式

學生的最終成績由總積分(total_points)透過線性映射轉換為成績分數。教師可設定兩個關鍵參數:

參數說明預設值
threshold達到滿分所需的最低積分20
full_score_value滿分分數100

計算公式:

score = (total_points ≥ threshold) ? full_score_value : (total_points / threshold) × full_score_value

  • total_points ≥ threshold 時,成績 = full_score_value(滿分)
  • total_points < threshold 時,成績 = total_points / threshold × full_score_value(線性遞增)

6.2 計算範例

假設 threshold = 20,full_score_value = 100:

學生主題留言回覆Emoji bonustotal_points成績
A354528100(滿分)
B13221365
C0110315

8. 批次更新

討論區成績由排程任務(cron_forum_scoring.py每小時自動重新計算:

  1. 掃描所有已啟用討論區評分的課程
  2. 統計每位學生在指定討論版中的發文數量(主題、留言、回覆)
  3. 計算 Emoji 加分與懲罰(考慮 👀 覆核)
  4. 套用線性映射公式,更新成績

此批次機制確保即使教師在非即時的情境下修改 Emoji 或調整參數,成績也會在下一個小時自動反映。

9. 研究引用建議

方法論描述範本

學生的討論區參與成績由 Uedu 平台的 Forum Scoring 模組自動計算。系統採用加權積分制,依據發文類型(主題文、留言、回覆)賦予不同積分權重。教師、助教與 AI 可透過 Emoji 機制(👍 加分、🎊 / 🚀 加分、😴 懲罰歸零)對個別貼文給予回饋,加分總和受上限(bonus_max)限制。AI 的 Emoji 回饋基於 BERT 語意品質評估(aptel-api.uedu.tw)。此外,系統整合 AI 原創性偵測機制,透過前端打字速度分析與 LLM 語言特徵評估(五維度:詞彙多樣性、結構規律性、語氣一致性、填充詞密度、具體性)判定貼文是否為 AI 生成內容,並採用雙門檻制(疑似貼上 ai ≥ 0.5、正常速度 ai ≥ 0.7)自動決定計分結果。教師可透過 👀 Emoji 覆核所有 AI 判斷。最終成績以線性映射計算:當總積分達到門檻(threshold)即為滿分,未達門檻則按比例換算。成績由排程任務每小時自動重新計算。各項計分參數(積分權重、門檻、滿分值、加分上限)均可按課程自訂。詳細方法論說明見 https://uedu.tw/doc/forum-scoring。

建議同時提供:

  • 該課程的計分參數設定(pts_thread、pts_comment、pts_reply、threshold、bonus_max)
  • 納入評分的討論版清單
  • 資料收集期間與學生人數
  • AI 品質評估的啟用狀態與覆核比例