分組比賽每組評委都不相同綜合排名怎麼處理得分才能保證公平性?

時間 2021-06-09 02:59:39

1樓:Eating

現實生活中遇到了類似問題,前一陣子在某校的某個一年拿Master學位的某學者專案的書院實習,因為是專案開展第一年,學術上很多體制都不完善,比如在學生們畢業答辯結束之後就面臨了乙個如何對分數標準化處理的問題······

簡單來說情況是這樣,100個學生答辯,請到了60個評委老師,分了20場進行答辯,每場的老師不一樣但是保證都是5個評委老師(每個老師參加的場數也不一定,有的老師時間多,就參加了很多場,有的老師只參加了一場)。每場答辯的學生數量也不一樣,早上場有6個學生答辯,下午場5個學生答辯,晚上場三個學生。

於是乎,答辯結束後,每個學生都得到了乙個分數,乙個TA所遇到的那5個老師打的分數的平均分。

那麼問題來了,每組老師的打分標準都不一樣,有的組幾乎都是外國教授,有的組全是中國教授,外國教授明顯打分跨度更寬也更容易給出高分。於是領導要求對分數進行標準化處理,整個部門只有我乙個小實習生是理科生,於是我開始吭哧吭哧算方案。

以下是我當時嘗試的幾個標準化處理方案:

需要處理的問題:

1.不同答辯組的老師不同,給分標準不同,如何消除不同組的打分標準不同帶來的差異?

例如:A1組的甲同學91(該組老師給分謹慎),與B1組的乙同學95分(該組老師給分偏高)可能是一樣好的,兩人如何比較?B1組的丙同學92分,與A1組的甲同學如何比較?

方案一,偏差值方法

所謂偏差值指的是相對平均值的偏差數值,偏差值反應的是每個人在該組所有人中的水準位置。

在每組樣本量足夠大的情況下,可以用偏差值公式,得到較好的統計學比較

轉化成績=偏差值 =(個人成績-平均成績)÷(標準偏差÷10)+50

其中 10 可用1-10替換,結果是可接受的範圍。該值越大,則本組成員之間的差距被拉大;該值越小,則本組成員之間的差距越小。

其中50可以根據總平均分適當調整。

方案一的問題:

偏差值反應的是乙個人在一組裡的水準位置,對於樣本量足夠大的不同組,有一定比較意義,但是在樣本小的情況下失控,因為該方法中標準偏差的使用即預設資料符合正態分佈,而3人小組認為成正態分佈是不合理的。例如,某組有三人,分數為84,85,86.偏差值轉換後會變成60,80,100,不合理。

方案二轉化成績=個人成績+(總平均成績-組平均成績)

一組的平均分,可以一定程度反應該組老師給分的標準。將該組老師給分標準與所有給分標準的差異,反饋到個人成績當中。

方案二的問題

1.若某小組的三人表現都挺好,分數為89,88,87,則該方法會使得該組三人的成績全都降乙個檔次。

2.該方法不能均衡不同小組的給分跨度不同的問題。

如:A1組老師給分跨度小,在80-90之間,組平均分85;B1組老師給分跨度偏大,在75-95之間,平均分同樣為85.

A1組甲91分丁90分

B1組乙95分丙92分所有組的總平均分為83

轉化後成績

A1組甲89分丁88分

B1組乙93分丙90分轉化後依然無法客觀地比較甲和丙。

方案三先對變數後對事例再對變數進行標準差標準化(常用的資料標準化處理方法之一)

第一步:對每組分別進行標準差標準化

第二步:對每組的平均值進行標準差標準化

第三步:再以標準化後的各組平均值,對每組分別進行標準差標準化

方案四由於現在要處理的問題是不同老師打分標準不同帶來的,但是考慮到,一組中也有五個不同的老師,五個老師的打分標準也不一樣。與此同時,打分表本身也做了分段式的打分處理。每組的樣本量太小,用統計學的公式做標準化處理反而會使得打分表本身的分段功能失效。

於是,可以直接對每個人得到的五個分數,去掉最高分和最低分,再求平均值,以實現誤差消除(去掉最高分和最低分再求平均是因為,從40個老師中選5個老師,這5位老師打分均偏高(或偏低)的概率大於從40個老師中選5位老師,去掉其中的最高和最低,其餘3位老師打分均偏高(或偏低)的概率)。這樣也尊重了打分表本身的分段功能。

方案五現實情況中,條件允許的情況下,採用二次打分的方法解決。即,對於推優的29人,直接以原成績排序,請評委復議。方案六

鋼琴比賽評委是隨便叫停的嗎?

李仲泉 只要不是水平很高的專業演奏,一般琴童的演奏讓專業評委看,10 20秒就夠了,普通專業選手的演奏,1 2分鐘也基本能看出水平了。如果評委還在接著聽,基本上是尊重你。 我也當過小比賽評委。非也,超時叫停,彈的太差叫停,違規彈奏叫停 奏鳴曲組彈非奏鳴曲式奏鳴曲樂章等 除此之外,一概不叫停。其實,彈...

《酒館戰棋》比賽的抽籤分組是巧合還是黑幕操作?

mo墓 我拋10次硬幣,恰好是 正正反正反,反正反正反 的概率有多大?丟擲這種結果的概率和丟擲 正反正反正,反正反正反 的概率一樣嗎?丟擲這種結果的概率和丟擲 正正正正正,正正正正反 的概率一樣嗎? dbevfjevrvfvvxje 巧合,沒必要黑幕,倖存者偏差了解一下。只能看到經過某種篩選而產生的...

學校十佳歌手比賽,評委是老師大概30 40歲,唱什麼歌會讓他們喜歡?

千萬不要選過於冷門的歌我們學校十佳歌手的評委老師基本上都是30 我一朋友,學了4 5年聲樂,選了一首特別冷門的古風歌,發揮的也不錯,但由於歌曲沒有能讓人記住的地方,所以遺憾落選了。最好是選一些比較火的歌,或者比較經典至少老師聽過,有印象的歌 自己評估就好了 事實證明,往往比較熟悉的東西更容易得到認同...