作業(yè)幫副總裁羅亮：在直播課背后有怎樣的底層支撐？

　　多知網(wǎng)4月21日消息，在騰訊教育主辦的第二屆MEET教育科技創(chuàng)新峰會上，作業(yè)幫副總裁羅亮發(fā)表了題為《數(shù)字化助力教育普惠》的演講，在演講中，羅亮拆解了作業(yè)幫各個業(yè)務的技術攻堅，也提到了對未來技術的展望。

　　在拍照搜題領域，羅亮提到，經(jīng)過6年自主研發(fā)，我們建立一套完整的流水線，其中包含了30多種神經(jīng)網(wǎng)絡，每一次拍照經(jīng)過260次的推算，200毫秒之內(nèi)找到題目解析。每分鐘響應超過上百萬的搜題。

　　在直播課方面，2020年作業(yè)幫春季免費直播課，總的人次超過3300萬，公益課名家講堂學生超過2300萬人次，推出了高考解析直播課，觀看超過了2100萬人次。

　　在羅亮的講解中，在直播課背后技術支撐包括：音視頻網(wǎng)絡分包問題;通過AI技術幫助實時分析學生上課狀態(tài);通過視覺AI技術進行專注力監(jiān)測等。

　　在課堂中，為提高學生的參與度，作業(yè)幫通過AI技術做了很多交互體驗，如手勢識別的功能，再如語音彈幕增加交互形式。

　　根據(jù)羅亮介紹，針對輔導老師的工作效率問題，作業(yè)幫也做了相關的系統(tǒng)。

　　對于未來，在羅亮看來，無論是AI、大數(shù)據(jù)、5G、AR、VR技術的應用，這些技術目前改變了行業(yè)和產(chǎn)品，還有一些技術需要更多的嘗試和創(chuàng)新，我相信整個社會的進步和行業(yè)的進步，一定是基于技術上的突破，讓過去不敢想的事情真正落地下來?！　?/p>

　　(作業(yè)幫副總裁羅亮)

　　以下為羅亮演講實錄（經(jīng)多知網(wǎng)編輯整理）：

　　各位領導、各位嘉賓，大家下午好!

　　我是來自作業(yè)幫的羅亮，我負責研發(fā)體系，我現(xiàn)在給大家分享的內(nèi)容是“科技助力在線教育普惠”。

　　當前，整個中國有1.97億的中小學生，其中70%在三線及以外城鄉(xiāng)地區(qū)，而正是這個大多數(shù)群體才更需要好的老師、好的內(nèi)容、好的環(huán)境，滿足教育上的需求。

　　如果作業(yè)不會做，有問題不會，唯一渠道就是找同學、找老師，在三四線城市可能有些題目同學也不會，家長也不會，求助無人，作業(yè)幫就是解決學生在這種學習環(huán)境下求助無人的狀況。

　　到今天為止，作業(yè)幫累計激活設備超8億，每月用戶1.7億。今天我將主要分享作業(yè)幫的產(chǎn)品，以及背后的技術。

　　工具產(chǎn)品讓學生隨時隨地有“AI老師”

　　作業(yè)幫第一大技術是作業(yè)幫APP拍照搜題，讓學生隨時隨地有AI老師的產(chǎn)品，目前來說作業(yè)幫作為教育工具類的產(chǎn)品，是唯一進入全網(wǎng)TOP30的教育類APP，每月活躍用戶數(shù)過億，積累了超過3億的題庫。

　　做這樣一個產(chǎn)品，其實解決的是用戶的需求場景，有問題不會，通過拍照給你答案，并且告訴你這個題怎么解析，以及解析完根據(jù)知識點薄弱情況，掌握學、練、鞏固的過程。

　　作業(yè)幫從2015年第一個1.0產(chǎn)品以來，我們一直持續(xù)做一件事情，拍照搜題，本質(zhì)上是由文字識別、題目解析、版式分析、題目搜索、題目理解，發(fā)展由若干個系統(tǒng)，解決學生各樣問題的體系。

　　在這個過程中，我們遇到非常多的技術挑戰(zhàn)，特別在文字識別是我們第一道攔路虎。經(jīng)過六年的技術創(chuàng)新和數(shù)據(jù)積累，作業(yè)幫拍搜業(yè)務目前已經(jīng)是一個結(jié)合了神經(jīng)網(wǎng)絡，集群化的識別引擎。其中包含了30多種神經(jīng)網(wǎng)絡，每一次拍照經(jīng)過260次的推算，200毫秒之內(nèi)找到題目解析。每分鐘響應超過上百萬的搜題。

　　這是學生拍上來的真實的圖片，可以看到圖片是傾斜的，內(nèi)容是不完整的。在這個過程中，通過解決用戶的問題，讓AI變得越來越好，解決越來越多的問題。

　　到2020年疫情的時候，用戶的場景出現(xiàn)了一些新的變化，因為在家上網(wǎng)課，用戶拍照的照片發(fā)生了變化，有很多用戶拍的題是拍的電腦題目，這個時候?qū)ξ覀兊奶魬?zhàn)又來了：屏幕的反光很嚴重，并且會有頻閃、摩爾紋等問題，這樣又提高了識別難度，要進行大量的優(yōu)化，使文字清晰地識別出來。

　　到今天為止，產(chǎn)品體驗和技術手段在不斷進步，過去是拍一張圖片，今天是拍整張試卷幫你把所有題搜索出來，搜集每一道題的解析，不再有不會做的難題。

　　直播課兩大法寶：自建系統(tǒng)和AI

　　作業(yè)幫第二塊產(chǎn)品是直播課，過去通過互聯(lián)網(wǎng)、通過在線教育打通的是空間的限制，把優(yōu)質(zhì)的老師資源、內(nèi)容分發(fā)到三線及以外的城鄉(xiāng)中，去年社會教育發(fā)生重大變化，作業(yè)幫做了一個春季免費直播課，總的課次超過3300萬，也推出了公益課名家講堂，學生超過2300萬人次，推出了高考解析直播課，觀看超過了2100萬人次。

　　疫情把在線教育推上了風口浪尖，上好每一堂課背后有大量的人力、物力支持，沒有任何的準備，我們就硬著頭發(fā)上，在春季免費直播課的戰(zhàn)績當中我們扛住了壓力，沒有出現(xiàn)過宕機等重大的事故。

　　其實直播課技術在我看來有兩大技術的底層支撐，一個是技術本身，解決的是音視頻網(wǎng)絡分包問題，作業(yè)幫通過自研一套ZRTC的技術解決直播課音視頻的傳輸，作業(yè)幫在全國有超過11個分部，學生分布在天南海北，通過雙師班，小組內(nèi)進行交流，并且跟主講老師分布在全國不同的地方，一個學生在新疆，一個學生在北京，老師可能在合肥，其實這樣三個節(jié)點的通信發(fā)生了全國的在線會議，這個對我們來說是很大的挑戰(zhàn)，我們用了一年的時間，跟騰訊云建立了一張分布到全國，并且保證時延穩(wěn)定的音視頻分發(fā)網(wǎng)絡，建立場景、服務如此龐大復雜的直播課體系，中間有非常多的技術挑戰(zhàn)。

　　作業(yè)幫本身從原來單一的體系，變成多元的體系，背后有非常多的技術挑戰(zhàn)和應對過程。

　　除了音視頻直播技術，還需要提供AI技術，來賦能主講老師、輔導老師、學生本身，幫老師實時感知和分析學生關注狀態(tài)和上課狀態(tài)，通過面部表情對學生上課情況進行分析。在上課過程中有大量的輔導老師，一個名師同時面對200個學生，觀察自己小組的學生，聽課狀態(tài)是不是認真，是否在電腦面前有互動參與，我們通過AI技術幫助輔導老師提醒學生專注情況，就算一個老師一堂課有數(shù)百個學生，也可以幫助他們更好督促學生上課，或者學生有不懂的地方記錄下來，幫助他課后解決問題。

　　通過視覺AI技術，專注力監(jiān)測，我們可以提醒他的家長需要認真聽課。另外他們也很擔心在線直播課，坐在屏幕面前視力會不會受影響，通過對學生眼睛、面部跟電腦距離的測算，我們能做到及時提示學生不要離屏幕太近。

　　在直播課堂當中，我們通過AI技術做了很多交互體驗，自己做了手持識別的功能，面向低年級，其實我們發(fā)現(xiàn)在課堂上面通過視覺技術用手勢進行交互，參與度有非常大的提高。大量視覺技術的應用對算力是非常大的挑戰(zhàn)，我們現(xiàn)在是云端整合方案，很多計算是放在用戶終端上進行邊緣計算，還有放在中心服務器進行計算。低年級小朋友非常喜愛，參與感非常強，整個教學效果也得到了提升。

　　語音技術應用中，老師發(fā)一個題，同學們參與互動，語音彈幕增加交互形式，在英語學科，需要用戶反饋的課程是非常有用的。這樣的交互也可以讓老師迅速通過語音識別技術，把這些反饋匯總到老師，老師根據(jù)時時匯總知道講授情況如何，需要把哪些知識點再講一遍，為了模擬教學場景，一個小組多個學生的集體發(fā)言，在這個過程當中遇到背景噪聲、聲音回傳帶來的影響問題、干擾問題，通過AI技術把這樣的場景變得可行。

　　除了在課堂當中教學環(huán)節(jié)通過技術賦能，對于教研來說，我們也做了很多改善，為幫助教研老師篩選出來更符合教學的題目，我們?yōu)槔蠋熖峁┝艘徽最}庫產(chǎn)品，也幫助老師在整個試卷配套材料當中起到一定作用。

　　目前來看在線直播課輔導老師的服務，在我們看來是教學過程中最重要的，學生大量的需求是在課堂之外課后作業(yè)、疑難問題的解答，輔導老師角色所需要的，除了課堂情況匯總，另外也要把各種學生上課交互數(shù)據(jù)給輔導老師進行分析，讓輔導老師根據(jù)學生的情況、個體的特征跟家長或者跟學生進行溝通，有針對性提高這個學生的學習效果。

　　持續(xù)探索教育場景的技術升級

　　除了進行自身的技術建設外，在技術方面有幾項是跟騰訊云合作的，體量最大的服務就是拍搜業(yè)務，大家也知道當前的AI技術是依賴于大量的算力和數(shù)據(jù)來構(gòu)成的，要提升效果加服務，就要把模型做的更復雜一些。但是這個過程中考慮的問題非常多，機器規(guī)模增加帶來架構(gòu)的復雜、時延的增加以及運維的困難，對我們來說都是最大的挑戰(zhàn)。

　　自2019年合作開始，通過業(yè)務服務、GPU等的云原生改造，實現(xiàn)了實時彈性、可觀測、韌性、自動化、可持續(xù)等特性，極大的提升了整體運維效率和服務穩(wěn)定性。

　　而在直播課方面，作業(yè)幫的老師分布在11個分部校區(qū)，而學生分布在全國各地，如何讓天南海北的老師和學生開展線上的實時教學互動，這涉及音視頻的編解碼、傳輸、網(wǎng)絡路由、終端適配等一系列技術點。我們和騰訊云一直在進行共同研究，針對在線教育公司的場景，建立一個行業(yè)技術解決方案。

　　此外，在大數(shù)據(jù)方面，我們每個月增量在5、6PB，這個數(shù)據(jù)已經(jīng)是幸福的負擔，要解決計算的成本，還有解決時效性，對我們來說是越來越大的技術挑戰(zhàn)，這塊跟騰訊云深度進行合作，無論是說EMR或者是COS集群，當中技術挑戰(zhàn)都是很大的，在過去一年跟騰訊云一起深入研討，深入合作，然后把這個解決方案真正應用到生產(chǎn)體系當中。

　　最后一點講一下未來的展望，大家關注到這一點，無論是AI、大數(shù)據(jù)、5G、AR、VR技術的應用，這些技術目前改變了行業(yè)和產(chǎn)品，還有一些技術需要更多的嘗試和創(chuàng)新，我相信整個社會的進步和行業(yè)的進步，一定是基于技術上的突破以后，讓過去不敢想的事情真正落地下來。在這個過程當中技術在環(huán)境里面真正起到關鍵作用，因為最終的教育理念是因材施教，技術在這一點起到?jīng)Q定性的作用。

　　做到因材施教，想起來很簡單，做起來實在是很難，如何量化一個學生的學習效果，怎么找出中間的關鍵效果，如何提供有針對性的教學方法，這個是值得我們深入研究，不光技術要提高，教學、教研、服務都要設計和研究事情。

　　隨著在行業(yè)不斷發(fā)展，以及技術不斷進步，我相信這一天會來的，在不遠的未來，有很多教研的產(chǎn)品和形式，真正幫助我們把在線教育做的更大更好。

　　這是我今天的分享，謝謝大家!