阿里云通義開源全新數(shù)學(xué)推理過程獎(jiǎng)勵(lì)模型Qwen2.5-Math-PRM

　　多知1月17日消息，通義千問Qwen宣布開源全新的數(shù)學(xué)推理過程獎(jiǎng)勵(lì)模型Qwen2.5-Math-PRM，包括72B和7B兩個(gè)版本，將提升大型語言模型(LLMs)在數(shù)學(xué)推理過程中的可靠性和可信度，自動(dòng)識(shí)別推理過程中的錯(cuò)誤，如計(jì)算或邏輯錯(cuò)誤，這些錯(cuò)誤可能導(dǎo)致不正確的結(jié)論，即使最終答案正確，也可能削弱模型推理過程的可信度。

　　在識(shí)別推理錯(cuò)誤步驟能力上，Qwen2.5-Math-PRM以7B的小尺寸超越了GPT-4o。同時(shí)，團(tuán)隊(duì)還開源了首個(gè)步驟級(jí)的評(píng)估標(biāo)準(zhǔn) ProcessBench，此項(xiàng)評(píng)估標(biāo)準(zhǔn)填補(bǔ)了大模型推理過程錯(cuò)誤評(píng)估的空白。

　　據(jù)了解，為更好衡量模型識(shí)別數(shù)學(xué)推理中錯(cuò)誤步驟的能力，通義團(tuán)隊(duì)提出的全新評(píng)估標(biāo)準(zhǔn)ProcessBench。該基準(zhǔn)由3400個(gè)數(shù)學(xué)問題測(cè)試案例組成，其中還包含奧賽難度的題目，每個(gè)案例都有人類專家標(biāo)注的逐步推理過程，可綜合全面評(píng)估模型識(shí)別錯(cuò)誤步驟能力。這一評(píng)估標(biāo)準(zhǔn)也已開源。