延安中考判卷失誤背后，機(jī)器閱卷市場(chǎng)比拼的不僅僅是技術(shù)

　　文| 黎珊

　　近日，延安發(fā)生的機(jī)器判卷失誤事件引發(fā)了社會(huì)廣泛的關(guān)注。

　　今年延安中考成績(jī)公布后，一位延安市子長(zhǎng)縣考生家長(zhǎng)發(fā)現(xiàn)，“網(wǎng)上公布的英語(yǔ)分?jǐn)?shù)與孩子平時(shí)的成績(jī)和預(yù)故估分?jǐn)?shù)差距很大?！痹诼?lián)系學(xué)校后，這位家長(zhǎng)發(fā)現(xiàn)有同樣疑惑的家長(zhǎng)不在少數(shù)，一個(gè)班甚至整個(gè)學(xué)校的考生出現(xiàn)類型情況。

　　臨近中考填報(bào)志愿截止日期，在上訪過(guò)后，部分家長(zhǎng)接到延安市考試管理中心工作人員的電話，稱“準(zhǔn)確的成績(jī)將重新公布”。

　　而重新公布的成績(jī)，不少考生的分?jǐn)?shù)出現(xiàn)了較大偏差，兩次對(duì)比少則相差幾分，多則相差二三十分。

　　最終公示的復(fù)查結(jié)果是，在2018年參加中考的21108名考生中，英語(yǔ)客觀題評(píng)分差錯(cuò)率3252例。

　　“這么重要的考試，出現(xiàn)這么大的失誤。而且出了錯(cuò)誤，這么草率的處理?！卑ú簧倏忌议L(zhǎng)在內(nèi)，社會(huì)輿論對(duì)本次考試操作提出了強(qiáng)烈的質(zhì)疑。

　　那為什么這次延安在中考這么重要的考試中，會(huì)發(fā)生如此重大的判卷失誤？

      大型考試機(jī)器判卷失誤概率較低，設(shè)備和過(guò)程管理是兩個(gè)關(guān)鍵

　　目前，針對(duì)大型考試，我國(guó)普遍實(shí)行網(wǎng)絡(luò)閱卷方式。

　　網(wǎng)上閱卷，準(zhǔn)確說(shuō)指用電子掃描及網(wǎng)絡(luò)技術(shù)，對(duì)客觀題自動(dòng)閱卷，對(duì)主觀題進(jìn)行網(wǎng)上評(píng)卷的閱卷系統(tǒng)?！跋到y(tǒng)+設(shè)備”，構(gòu)成了網(wǎng)絡(luò)閱卷的應(yīng)用場(chǎng)景。一套高速掃描儀每分鐘掃描近100頁(yè)，每臺(tái)掃描儀對(duì)應(yīng)一套掃描識(shí)別軟件，對(duì)試卷進(jìn)行數(shù)據(jù)采集。

　　針對(duì)客觀題，網(wǎng)上閱卷過(guò)程更多是自動(dòng)化的，掃描儀掃描卷面(答題卡區(qū)域)內(nèi)容，對(duì)客觀題選項(xiàng)進(jìn)行自動(dòng)識(shí)別并通過(guò)系統(tǒng)進(jìn)行判分；對(duì)于主觀題，閱卷系統(tǒng)對(duì)卷面進(jìn)行圖像電子化后，判分環(huán)節(jié)終歸是人工閱卷的方式。

　　基于兩者的差異，“雖然都客觀題評(píng)判是自動(dòng)化的。但一定程度上來(lái)說(shuō)，主觀題的閱卷準(zhǔn)確率可能要高于客觀題。”有專業(yè)人士對(duì)多知網(wǎng)表示。

　　以主觀題——高考語(yǔ)文作文為例，目前主要是電腦閱卷方式。通過(guò)掃描將卷面圖像錄入電腦，每篇作文由兩位評(píng)卷員進(jìn)行評(píng)閱，如果兩人給出的分?jǐn)?shù)，評(píng)分誤差大于規(guī)定分值，就交由第三方進(jìn)行評(píng)閱，如果誤差仍然大于規(guī)定分值，將由學(xué)科評(píng)卷組組長(zhǎng)進(jìn)行評(píng)閱，直到分值達(dá)到誤差允許范圍，評(píng)分才算合格。

　　這樣的過(guò)程管理使得主觀題閱卷能夠做到盡可能公正且準(zhǔn)確。

　　但由于客觀題并不需要人工判卷，就難以通過(guò)人工方式對(duì)評(píng)判進(jìn)行比對(duì)復(fù)查。閱卷的準(zhǔn)確性主要依賴系統(tǒng)及設(shè)備的穩(wěn)定性，以及人工操作的標(biāo)準(zhǔn)性。

　　從追責(zé)結(jié)果就能看出，設(shè)備問(wèn)題成為其閱卷失誤的關(guān)鍵所在。

　　此次為延安市中考提供閱卷技術(shù)服務(wù)的第三方西安冠宇信息科技有限公司對(duì)此次事件的解釋是：失誤屬于機(jī)械故障，由于走紙系統(tǒng)磨損，導(dǎo)致掃描圖案變形。

　　那么對(duì)于此類問(wèn)題，有辦法進(jìn)行規(guī)避嗎?

　　在中高考分?jǐn)?shù)評(píng)判的流程中，設(shè)計(jì)了相應(yīng)的環(huán)節(jié)對(duì)此類問(wèn)題進(jìn)行規(guī)避。比如，在設(shè)備采購(gòu)時(shí)需審核機(jī)器的穩(wěn)定性；正式閱卷之前，進(jìn)行預(yù)測(cè)演練；評(píng)分過(guò)后，有相應(yīng)的抽查機(jī)制。此外，各地教育考試機(jī)構(gòu)都安排了考生卷面分?jǐn)?shù)復(fù)查申請(qǐng)的環(huán)節(jié)，復(fù)查內(nèi)容為各科答題卡是否存在漏評(píng)、總分漏記、錯(cuò)記等。

　　這樣的復(fù)查流程設(shè)計(jì)主要是為了規(guī)避針對(duì)客觀題閱卷可能出現(xiàn)的問(wèn)題。

　　除了在流程的設(shè)計(jì)上盡量做到萬(wàn)無(wú)一失。對(duì)提供閱卷服務(wù)的第三方技術(shù)公司的合理篩選，也成為保證考試閱卷準(zhǔn)確性的關(guān)鍵。

　　根據(jù)天眼查的搜索信息顯示，西安冠宇信息科技有限公司曾經(jīng)歷兩起勞動(dòng)爭(zhēng)議的法律訴訟，并被西安市雁塔區(qū)人民法院納入失信被執(zhí)行人名單。在對(duì)此次事件的調(diào)查采訪中，有記者問(wèn)及“是否了解西安冠宇信息科技有限公司有失信記錄”及“為什么在兩年前更換對(duì)服務(wù)企業(yè)進(jìn)行更換”時(shí)，延安市考試管理中心相關(guān)人員并沒(méi)有給出正面回答。

　　從閱卷服務(wù)商的選擇，到閱卷過(guò)程的管理，任何一個(gè)環(huán)節(jié)的差池都有可能導(dǎo)致分?jǐn)?shù)的失誤。而像中高考這樣的大型考試，經(jīng)不起這樣的失誤。這就對(duì)提供閱卷及相關(guān)服務(wù)的行業(yè)參與者提出了更多要求。

　　至于這次類似事件，假設(shè)在執(zhí)行層面的過(guò)程管控更加嚴(yán)格，也是可以避免的。

　　實(shí)際上，這類傳統(tǒng)的針對(duì)考試提供的機(jī)器閱卷服務(wù)，并不算新興技術(shù)。

　　在近20年的時(shí)間中，圍繞網(wǎng)絡(luò)閱卷技術(shù)誕生了一大批考試服務(wù)公司。市場(chǎng)競(jìng)爭(zhēng)激烈，但其競(jìng)爭(zhēng)的關(guān)鍵不在于技術(shù)的先進(jìn)性，而更多在其對(duì)過(guò)程管理的把控能力。

　　“一般大型考試，由于其考試模式固定，答題紙質(zhì)量較好，對(duì)閱卷技術(shù)的要求并不算太高，這類閱卷技術(shù)發(fā)展已趨于成熟，在全國(guó)也得到大規(guī)模的推廣?！币粯I(yè)內(nèi)人士對(duì)多知網(wǎng)表示。

　　在延安事件中，其考試管理中心主任在接受采訪時(shí)就有表示，當(dāng)時(shí)工作人員并未發(fā)現(xiàn)掃描異常情況。如果工作人員及時(shí)發(fā)現(xiàn)，會(huì)停下來(lái)進(jìn)行重新掃描。

　　這意味著，有效的過(guò)程管理一定程度上規(guī)避這類問(wèn)題。比如增設(shè)應(yīng)急的設(shè)備，加強(qiáng)實(shí)操人員培訓(xùn)，通過(guò)流程化的方式降低閱卷失誤風(fēng)險(xiǎn)。

      機(jī)器閱卷第二代產(chǎn)品自動(dòng)批改，將面臨更多的挑戰(zhàn)

　　隨著技術(shù)的成熟，提供備考解決方案供應(yīng)商越來(lái)越多。這個(gè)市場(chǎng)上，根據(jù)產(chǎn)品和參與方不同，基本劃分出了幾個(gè)不同的層次：第一種是用于中考高考的機(jī)器閱卷產(chǎn)品，也是目前應(yīng)用最廣泛的批改產(chǎn)品，這也是對(duì)技術(shù)要求相對(duì)比較低的一類產(chǎn)品。

　　另一種則是升級(jí)版的批改產(chǎn)品。這類產(chǎn)品已經(jīng)不再簡(jiǎn)單關(guān)注閱卷，而是將使用場(chǎng)景轉(zhuǎn)移到日常教學(xué)中。其目標(biāo)不在形成考試終結(jié)型報(bào)告，而是將“閱卷”作為切入點(diǎn)，通過(guò)自動(dòng)批改對(duì)學(xué)校教與學(xué)的數(shù)據(jù)進(jìn)行采集，從而為精準(zhǔn)教學(xué)和自適應(yīng)學(xué)習(xí)提供依據(jù)。

　　對(duì)于學(xué)校日常教與學(xué)的數(shù)據(jù)采集，涉及到學(xué)習(xí)過(guò)程的方方面面，如果不是好的產(chǎn)品落地，對(duì)學(xué)校、教師及學(xué)生的將會(huì)帶來(lái)不可逆的“傷害”。

　　“孩子的時(shí)間是不可逆的，不管是考試成績(jī)，還是學(xué)習(xí)的過(guò)程性評(píng)價(jià)，教育成本不可承受?！币晃焕蠋熢u(píng)價(jià)。所以，二代批改產(chǎn)品的要求比一代閱卷產(chǎn)品的要求要高出很多。

　　因此，新一代通過(guò)閱卷技術(shù)進(jìn)行探索的企業(yè)也面臨多個(gè)方面的挑戰(zhàn)。

　　首先，通過(guò)閱卷采集數(shù)據(jù)，保證準(zhǔn)確率是最基本的底線。這要求企業(yè)對(duì)大量不同的閱卷場(chǎng)景進(jìn)行摸索，同時(shí)，在探索的過(guò)程中，盡量要做到不影響學(xué)校的日常教學(xué)。比如，課間作業(yè)數(shù)據(jù)采集，只能抓緊利用課間10分鐘進(jìn)行處理，并及時(shí)將作業(yè)樣本交還給老師，保證不打亂教學(xué)進(jìn)度。

　　其次，由于不同學(xué)校，不同教學(xué)場(chǎng)景的差異性較大，企業(yè)研發(fā)的教學(xué)產(chǎn)品需要能適配各種場(chǎng)景。這需要企業(yè)通過(guò)積累獲取大量樣本，否則產(chǎn)品在落地的過(guò)程中，很難真正適用于學(xué)校，從而可能誤導(dǎo)教學(xué)過(guò)程。

　　這些都對(duì)企業(yè)學(xué)科的場(chǎng)景理解能力、教研的能力，合理的運(yùn)營(yíng)能力，和有效的商業(yè)模式等提出了更高的要求。

　　值得注意的是，不少?gòu)臉I(yè)者表示，“這塊技術(shù)，目前雖然還不夠成熟，競(jìng)爭(zhēng)也還不充分，但行業(yè)的期待值很高”。因此，越來(lái)越多的市場(chǎng)參與者加入其中。這其中包括向新技術(shù)轉(zhuǎn)型的老一代閱卷公司、直接從新閱卷技術(shù)切入的創(chuàng)業(yè)型公司、一些大型教育企業(yè)等等。

　　“在還不能保證數(shù)據(jù)的準(zhǔn)確的情況下，不輕易把不成熟的數(shù)據(jù)反饋到教學(xué)環(huán)節(jié)中去?！边@是不少行業(yè)人士從事這塊業(yè)務(wù)最基本的底線。（多知網(wǎng) 黎珊）