½ñÈÕÐÐҵЭ»áת´ï×îÐÂÑо¿Ð§¹ûýÌ壺¹ú¼Ê×ãÁªÊ¨×Ó´óÆô³Ý¸ã¼ÛÇ®ÆçÊÓ ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌ⣬£¬
£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷һϡ£¡£¡£¡£Æ·ÅÆÊÚȨ±¨Ð޵绰£¬£¬
£¬¿ìËÙÉÏÃÅ·þÎñ

ÉÂÎ÷Ê¡ÏÌÑôÊÐÐËƽÊÐƽɽÏØС¾õÕòÎäÇåÇøÉÏÂį́ÕòÇå¾²ÇøÄÏÊнֵÀºÚÁú½­Ê¡¼Ñľ˹ÊÐÌÀÔ­Ïسç×óÊÐÄþÃ÷ÏØ¿ª·âÊÐͨÐíÏØËÄ´¨Ê¡µÂÑôÊй㺺ÊÐÔÞ»ÊÏØÎ÷ÁúÃÅÏçÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏØÂåÑôÊÐÈêÑôÏر±º£Êк£³ÇÇøÁÉÄþÊ¡ÉòÑôÊÐÉÂÎ÷Ê¡ººÖÐÊÐÄÏÖ£ÇøÎ÷ÏçÌÁÇøÄÚÃɹźôÂ×±´¶ûÊа¢ÈÙÆìÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏؼ»ÖÝÇø¶«ÕÔ¸÷ׯÕòºÚÁú½­Ê¡´óÐË°²ÁëµØÇøºôÂêÏعðÁÖÊÐÐã·åÇøɽ¶«Ê¡ÑĮ̀ÊÐIJƽÇø¹ã¶«Ê¡ÉÇÍ·ÊÐÁúºþÇø°ö²ºÊаöɽÇøÇຣʡ¹ûÂå²Ø×å×ÔÖÎÖÝɽÎ÷Ê¡ÂÀÁºÊÐÖÐÑôÏظ£½¨Ê¡¸£ÖÝÊÐÓÀÌ©ÏØɽ¶«Ê¡µÂÖÝÊÐÆëºÓÏØÎ÷ÏçÌÁÇøÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏØÁÉÄþÊ¡ÁÉÑôÊа×ËþÇø½­ËÕÊ¡ÐìÖÝÊÐÐÂÒÊÊн¹×÷ÊÐÖÐÕ¾ÇøÐí²ýÊн¨°²Çø¿¦Ê²µØÇøÒ¶³ÇÏØɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏعóÖÝÊ¡ÁùÅÌË®ÊÐË®³ÇÏØÃÜÔÆÇø¸ßÁëÕòÎÞ¼«ÏØ´ó³ÂÕòºÚÁú½­Ê¡¼¦Î÷Êм¦¹ÚÇøÁÉÄþÊ¡ÉòÑôÊÐÐÂÀÖÊÐЭÉñÏçÉÂÎ÷Ê¡±¦¼¦ÊÐǧÑôÏØÔªÊÏÏØÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏØ´óÐËÇøƽ¶¥É½ÊÐÎÀ¶«ÇøºÚÁú½­Ê¡¼Ñľ˹ÊÐÌÀÔ­ÏØÕÔÏØɳºÓµêÕòÇå¾²ÇøÄÏÊнֵÀÏòÑôÇøË«¾®½ÖµÀÔªÊÏÏØËÕ´åÏçÏòÑôÇøС¹Ø½ÖµÀ±±³½Çø¹ãÔ´½ÖµÀËÄ´¨Ê¡ãòÖÝÊн­ÑôÇøÉϺ£ÊÐÊÐϽÇø¼Î¶¨ÇøÙñÖÝÊÐÀûÐÁÏغӶ«Çø´óÖ±¹Á½ÖµÀËÄ´¨Ê¡ãòÖÝÊн­ÑôÇø¹ã¶«Ê¡ÉÇÍ·ÊÐÄÏ°ÄÏØÎ÷³ÇÇøÌìÇŽֵÀÑÓÇìÇø¿µ×¯Õòºþ±±Ê¡Ò˲ýÊÐÒ˶¼»áËÄ´¨Ê¡³É¶¼»áж¼ÇøÎ÷²Ø°¢ÀïµØÇøÈÕÍÁÏØËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐÔÆÄÏÊ¡Å­½­ÀüËÛ×å×ÔÖÎÖݸ£¹±ÏØÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇø·À³Ç¸ÛÊж«ÐËÊвýƽÇøÑô·»Õò½­Î÷Ê¡¾Å½­ÊÐÎäÄþÏØÕÔÏØɳºÓµêÕòËÄ´¨Ê¡Ò˱öÊдäÆÁÇøÁÉÄþÊ¡ÉòÑôÊÐÔÆÄÏÊ¡ÓñϪÊÐÐÂƽÒÍ×å´ö×å×ÔÖÎÏØËÄ´¨Ê¡Ò˱öÊн­°²ÏØÇÅÎ÷Çø¶«»ª½ÖµÀºÓ¶«Çø´óÖ±¹Á½ÖµÀ½­ËÕÊ¡ÐìÖÝÊÐÐÂÒÊÊн­ËÕÊ¡ÐìÖÝÊкþ±±Ê¡Ò˲ýÊÐÒ˶¼»á½­ËÕÊ¡ÐìÖÝÊÐɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇøº£µíÇøÇàÁúÇŽֵÀÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏØËÄ´¨Ê¡Ò˱öÊдäÆÁÇøºÓ¶«Çø´óÖ±¹Á½ÖµÀ¹ȪÇø°×¹ȪÏçËÄ´¨Ê¡µÂÑôÊй㺺ÊÐÄÚÃɹźôÂ×±´¶ûÊа¢ÈÙÆìƽ¶¥É½ÊÐÎÀ¶«ÇøÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÏâ»ÆÆì½¹×÷ÊÐɽ¶«Ê¡×Ͳ©ÊÐÁÙ×ÍÇø½­ËÕÊ¡Õò½­ÊоäÈÝÊÐÏòÑôÇø¾ÆÏÉÇŽֵÀÂí°°É½Êв©ÍûÇøÒø´¨ÊкØÀ¼ÏØÐÂÀÖÊÐЭÉñÏ翪·âÊÐͨÐíÏؽ­ËÕÊ¡ÄÏͨÊÐÆô¶«ÊÐ

±¾ÔÂÑо¿»ú¹¹×ª´ïÐÐҵж¯ÏòMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦£¬£¬
£¬ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌ⣬£¬
£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷Ò»ÏÂ:¹Ù·½·þÎñרÏߣ¬£¬
£¬Ö§³Ö¶àÆ·ÅƱ¨ÐÞ

ÄÚÃɹŶõ¶û¶à˹Êпµ°ÍʲÇø¸£½¨Ê¡ÏÃÃÅÊк£²×Çø¼»ÖÝÇø¶«Ê©¹ÅÕòÎ÷²ØÀ­ÈøÊдï×ÎÇøÎ÷³ÇÇøÌìÇŽֵÀɽ¶«Ê¡×Ͳ©ÊÐÁÙ×ÍÇøɽ¶«Ê¡ÔæׯÊÐ̨¶ùׯÇøÎ÷³ÇÇøÔÂ̳½ÖµÀ²ýƽÇøÑô·»ÕòÔÆÄÏÊ¡Î÷Ë«°æÄÉ´ö×å×ÔÖÎÖÝÛÂÀ°ÏØÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÏâ»ÆÆìɽÎ÷Ê¡Ë·ÖÝÊÐɽÒõÏØÁÉÄþÊ¡ÁÉÑôÊа×ËþÇø»³ÈáÇøÑãÆܵØÇøɽÎ÷Ê¡ÑôȪÊÐƽ¶¨ÏØɽ¶«Ê¡¶«ÓªÊпÑÀûÇø°¢¿ËËÕµØÇøкÍÏؾ®ÚêÏØÎâ¼ÒÒ¤ÏçÔÆÄÏÊ¡ÓñϪÊÐÐÂƽÒÍ×å´ö×å×ÔÖÎÏظ£½¨Ê¡ÄÏƽÊÐÇຣʡ¹ûÂå²Ø×å×ÔÖÎÖÝɽÎ÷Ê¡½ú¶¼»á¸ßƽÊÐËÄ´¨Ê¡¹ãÔªÊкÍÌïµØÇøÉÂÎ÷Ê¡±¦¼¦ÊÐǧÑôÏØÎ÷²ØɽÄÏÊй±¸ÂÏØËÄ´¨Ê¡Ò˱öÊдäÆÁÇøÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏزýƽÇøÑÓÊÙÕòÏòÑôÇø¾ÆÏÉÇŽֵÀÔÆÄÏÊ¡Î÷Ë«°æÄÉ´ö×å×ÔÖÎÖÝÛÂÀ°Ïؽ¹×÷ÊÐÇßÑôÊÐÐÐÌÆÏØÁúÖÝÕòÔªÊÏÏظÊËàÊ¡¶¨Î÷ÊÐμԴÏØÔÆÄÏÊ¡Àö½­ÊÐÄþÝõÒÍ×å×ÔÖÎÏØ°ö²ºÊÐÁú×ÓºþÇø¼»ÖÝÇø¶«Ê©¹ÅÕòÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏظÊËàʡ¤ÄÏÊÐÎ䶼Çøºþ±±Ê¡ÏåÑôÊÐÏåÖÝÇøÇå¾²ÇøÄÏÊнֵÀÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏغ£ÄÏÊ¡º
£¿£¿£¿
£¿£¿£¿ÚÊÐÃÀÀ¼ÇøÒÁÀç¹þÈø¿Ë×ÔÖÎÖÝÕÑËÕÏØÎ÷²ØÀ­ÈøÊдï×ÎÇø·ą́Çø³¤ÐÁµêÕò²ýƽÇøСÌÀɽÕòËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐÔÆÄÏÊ¡Å­½­ÀüËÛ×å×ÔÖÎÖݸ£¹±ÏØÎ÷²Ø°¢ÀïµØÇøÈÕÍÁÏؼ»ÖÝÇø¶«ÕÔ¸÷ׯÕòÎ÷²ØɽÄÏÊй±¸ÂÏع㶫ʡÉîÛÚÊÐɽÎ÷Ê¡ÂÀÁºÊÐá°ÏعÌÔ­ÊÐÎ÷¼ªÏØËÄ´¨Ê¡ËìÄþÊÐÅîϪÏؼªÁÖÊ¡ËÄƽÊÐÌúÎ÷Çø¹óÖÝÊ¡Ç­¶«ÄÏÃç×嶱×å×ÔÖÎÖÝÌìÖùÏغþ±±Ê¡¶÷Ê©ÍÁ¼Ò×åÃç×å×ÔÖÎÖݶ÷Ê©ÊÐÐÂÀÖÊÐЭÉñÏçÃÜÔÆÇø²»ÀÏÍÍÕò¹óÖÝÊ¡Í­ÈÊÊÐÓ¡½­ÍÁ¼Ò×åÃç×å×ÔÖÎÏØ¿¦Ê²µØÇøÒ¶³ÇÏغ£ÄÏÊ¡º
£¿£¿£¿
£¿£¿£¿ÚÊÐÃÀÀ¼ÇøºÍÌïµØÇøɽÎ÷Ê¡ÁÙ·ÚÊа²ÔóÏعþÃÜÊÐÒÁÎáÏØɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇø½¹×÷ÊÐÔÆÄÏÊ¡ÓñϪÊÐÐÂƽÒÍ×å´ö×å×ÔÖÎÏØÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÕýÏâ°×ÆìÎ÷ÇàÇø¾«ÎäÕòËÄ´¨Ê¡Ò˱öÊÐçîÏØÎ÷²ØÀ­ÈøÊдï×ÎÇø°¢¿ËËÕµØÇøкÍÏسç×óÊн­Î÷Ê¡ÒË´ºÊÐÒË·áÏØËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊо®ÚêÏØÎâ¼ÒÒ¤ÏçËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖݸÊÂåÏظ£½¨Ê¡ÆÎÌïÊгÇÏáÇøÇຣʡº£ÄϲØ×å×ÔÖÎÖݹóµÂÏØËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØ·ą́ÇøÓÒ°²ÃŽֵÀºÏ·ÊÊÐÑþº£ÇøÔÆÄÏÊ¡Àö½­ÊÐÄþÝõÒÍ×å×ÔÖÎÏØ¡°²ÏظÊËàÊ¡À¼ÖÝÊÐƽɽÏظÚÄÏÕò²ýƽÇøÑô·»Õò¸£½¨Ê¡¸£ÖÝÊÐÂÞÔ´ÏØÔªÊÏÏØËÕ´åÏçÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝãòÎ÷ÏØ·ą́Çø³¤ÐÁµêÕòËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖÝãò¶¨ÏØÇàÐãÇøɽÎ÷Ê¡½úÖÐÊÐÓÜÉçÏØɽÎ÷Ê¡Ë·ÖÝÊÐɽÒõÏØɽ¶«Ê¡Î«·»ÊÐÇàÖÝÊÐ

È«Çò·þÎñÇøÓò:Ëþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØ°¢¿ËËÕµØÇøкÍÏظ£½¨Ê¡¸£ÖÝÊÐÂÞÔ´ÏØ»³ÈáÇøÁúɽ½ÖµÀ»³ÈáÇøÑãÆܵØÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖÝãò¶¨ÏØ°ö²ºÊаöɽÇø¹ðÁÖÊÐÐã·åÇø¹óÖÝÊ¡Í­ÈÊÊÐÓ¡½­ÍÁ¼Ò×åÃç×å×ÔÖÎÏØÁÉÄþÊ¡±¾ÏªÊÐϪºþÇø¹ã¶«Ê¡¹ãÖÝÊÐÔ½ÐãÇøºþ±±Ê¡Ò˲ýÊÐÒ˶¼»á˳ÒåÇø¿Õ¸Û½ÖµÀƽ¶¥É½ÊÐÕ¿ºÓÇøÏòÑôÇø¹ÜׯµØÇø³¤°²Çø¹ã°²½ÖµÀÎߺþÊÐÄÏÁêÏؼ»ÖÝÇø¶«ÕÔ¸÷ׯÕòÎ÷³ÇÇøÌìÇŽֵÀ·ą́ÇøºÍÒå½ÖµÀºþ±±Ê¡Ð¢¸ÐÊкº´¨ÊÐÄÚÃɹźôÂ×±´¶ûÊа¢ÈÙÆìËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݵ¤°ÍÏØÖØÇìÊÐÏØÎ×ɽÏظ£½¨Ê¡¸£ÖÝÊÐÂÞÔ´ÏØ˳ÒåÇø¿Õ¸Û½ÖµÀÇÅÎ÷ÇøÔ·¶«½ÖµÀɽ¶«Ê¡ÔæׯÊÐ̨¶ùׯÇø½­ËÕÊ¡ÄϾ©ÊÐÆÖ¿ÚÇø±±º£Êк£³ÇÇøÇຣʡº£Î÷ÃɹÅ×å²Ø×å×ÔÖÎÖݵÂÁî¹þÊиÊËàÊ¡ÌìË®ÊÐÇØÖÝÇøÇຣʡº£Î÷ÃɹÅ×å²Ø×å×ÔÖÎÖݵÂÁî¹þÊÐÔÞ»ÊÏØԺͷÕò¼»ÖÝÇø¶«ÕÔ¸÷ׯÕòËÄ´¨Ê¡¹ã°²ÊÐÔÀ³ØÏØÔÆÄÏÊ¡Î÷Ë«°æÄÉ´ö×å×ÔÖÎÖÝÛÂÀ°ÏظÊËàʡ¤ÄÏÊн­ËÕÊ¡Á¬ÔƸÛÊиÓÓÜÇø½­Î÷Ê¡¾°µÂÕòÊвý½­ÇøɽÎ÷Ê¡Ô˶¼»áÏÄÏغÚÁú½­Ê¡ÒÁ´ºÊнðÁÖÇøÁÉÄþÊ¡ÌúÁëÊпªÔ­ÊмªÁÖÊ¡°×ɽÊл뽭ÇøºÚÁú½­Ê¡¹þ¶û±õÊаÍÑåÏØÇຣʡº£±±²Ø×å×ÔÖÎÖÝÃÅÔ´»Ø×å×ÔÖÎÏØÃÜÔÆÇø¹Å±±¿ÚÕò¸£½¨Ê¡ÄÏƽÊÐÇຣʡº£ÄϲØ×å×ÔÖÎÖݹóµÂÏؼªÁÖÊ¡³¤´ºÊÐË«ÑôÇø¹ã¶«Ê¡ÉîÛÚÊÐÔÆÄÏÊ¡Àö½­ÊÐÄþÝõÒÍ×å×ÔÖÎÏØÖØÇìÊÐÏØÎ×ɽÏظ£½¨Ê¡ÈýÃ÷ÊÐ÷ÁÐÇøÁÉÄþÊ¡½õÖÝÊÐÒåÏØÃÜÔÆÇø¸ßÁëÕòËÄ´¨Ê¡³É¶¼»áË«Á÷ÇøƽɽÏظÚÄÏÕòÙñÖÝÊÐÀûÐÁÏؽ­ËÕÊ¡ÄϾ©ÊÐÆÖ¿ÚÇøÇຣʡº£±±²Ø×å×ÔÖÎÖÝÃÅÔ´»Ø×å×ÔÖÎÏØƽ¶¥É½ÊÐÕ¿ºÓÇø½­Î÷Ê¡¾°µÂÕòÊвý½­Çø¸ÊËàʡ¤ÄÏÊÐÎ䶼Çøɽ¶«Ê¡µÂÖÝÊÐÆëºÓÏØÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏØɽ¶«Ê¡¶«ÓªÊпÑÀûÇøÎ÷ÏçÌÁÇøÁÉÄþÊ¡ÉòÑôÊÐÉòºÓÇø´óÐËÇøº£ÄÏÊ¡ÈýɳÊÐÎ÷ɳÇø¿ª·âÊÐͨÐíÏؽ­ËÕÊ¡ÄÏͨÊÐÆô¶«Êп¦Ê²µØÇøÒ¶³ÇÏؼªÁÖÊ¡³¤´ºÊÐË«ÑôÇøÄÚÃɹŶõ¶û¶à˹ÊжõÍпËÆìɽÎ÷Ê¡ÂÀÁºÊÐá°ÏØËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØÖØÇìÊÐÊÐϽÇø±±íÕÇø°ö²ºÊÐÁú×ÓºþÇø¸ÊËàÊ¡¶¨Î÷ÊÐμԴÏØÔªÊÏÏØÒó´åÕòÇàÐãÇøÕÔÏØɳºÓµêÕòÏòÑôÇøС¹Ø½ÖµÀ¸£½¨Ê¡¸£ÖÝÊÐÂÞÔ´ÏØÉϺ£ÊÐÊÐϽÇø¼Î¶¨Çø²ýƽÇøСÌÀɽÕò¹ã¶«Ê¡ÉÇÍ·ÊÐÄÏ°ÄÏØÔÆÄÏÊ¡Î÷Ë«°æÄÉ´ö×å×ÔÖÎÖÝÛÂÀ°Ïر¦ÛæÇøÅ£¼ÒÅÆÕòºþ±±Ê¡Ò˲ýÊÐÒÄÁêÇø¿¦Ê²µØÇøÒ¶³ÇÏغÚÁú½­Ê¡Æß̨ºÓÊÐÌÒɽÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖÝãò¶¨Ïظ£½¨Ê¡¸£ÖÝÊÐÓÀÌ©ÏØ¿¦Ê²µØÇøÂó¸ÇÌáÏØÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏغϷÊÊÐÑþº£Çø

½ñÈÕÐÐÒµ±¨¸æת´ïÐÂÑо¿±¨¸æMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦£¬£¬
£¬ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌ⣬£¬
£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷Ò»ÏÂ:ÊÛºó·þÎñάÐÞÖÐÐĵ绰£¬£¬
£¬Ö§³Ö¶àÇþµÀ·þÎñ

ÌìÏ·þÎñÇøÓò£ººÚÁú½­Ê¡´óÐË°²ÁëµØÇøºôÂêÏØÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÕýÏâ°×ÆìÐÐÌÆÏØÁúÖÝÕòÁÉÄþÊ¡±¾ÏªÊÐϪºþÇøºÚÁú½­Ê¡¼¦Î÷Êм¦¹ÚÇø¹óÖÝÊ¡Í­ÈÊÊÐÓñÆÁ¶±×å×ÔÖÎÏØɽÎ÷Ê¡ÂÀÁºÊÐÖÐÑôÏØ»´ÄÏÊдóͨÇøÇÕÖÝÊиÊËàÊ¡¶¨Î÷ÊÐμԴÏØÄÚÃɹźôÂ×±´¶ûÊа¢ÈÙÆìËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊп¦Ê²µØÇøÒ¶³ÇÏزýƽÇø»ØÁú¹Û½ÖµÀÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏØɽ¶«Ê¡ÇൺÊгÇÑôÇøɽÎ÷Ê¡½ú¶¼»á¸ßƽÊÐÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏØÑÓÇìÇø¿µ×¯Õò³¤°²Çø¹ã°²½ÖµÀÉÂÎ÷Ê¡ººÖÐÊÐÄÏÖ£ÇøÖØÇìÊÐÏØÎ×ɽÏعóÖÝÊ¡Ç­¶«ÄÏÃç×嶱×å×ÔÖÎÖÝÌìÖùÏØÃÜÔÆÇø¹Å±±¿ÚÕòÇຣʡº£±±²Ø×å×ÔÖÎÖÝÃÅÔ´»Ø×å×ÔÖÎÏØÄÚÃɹÅÐË°²ÃËÎÚÀ¼ºÆÌØÊйóÖÝÊ¡Ç­¶«ÄÏÃç×嶱×å×ÔÖÎÖÝÌìÖùÏØɽÎ÷Ê¡½úÖÐÊÐÁéʯÏسç×óÊÐÄþÃ÷ÏزýƽÇøСÌÀɽÕòºÚÁú½­Ê¡Æß̨ºÓÊÐÌÒɽÇøºþ±±Ê¡Ò˲ýÊÐÎ÷ÁêÇø¸ÊËàÊ¡À¼ÖÝÊÐÄÚÃɹÅÎÚº£ÊÐÎÚ´ïÇøÉÂÎ÷Ê¡±¦¼¦ÊÐüÏØ·ą́ÇøÍðƽ³ÇµØÇøÙñÖÝÊÐÀûÐÁÏؽ­Î÷Ê¡ÒË´ºÊÐÒË·áÏØ°ÍÒô¹ùÀãÃɹÅ×ÔÖÎÖݺÍ˶ÏعóÖÝÊ¡ÁùÅÌË®ÊÐË®³ÇÏØÉÂÎ÷Ê¡ººÖÐÊÐÄÏÖ£ÇøÇຣʡº£Î÷ÃɹÅ×å²Ø×å×ÔÖÎÖݵÂÁî¹þÊн­ËÕÊ¡ÐìÖÝÊн­ËÕÊ¡Á¬ÔƸÛÊиÓÓÜÇøÕÔÏØɳºÓµêÕò¸£½¨Ê¡ÄÏƽÊб±³½Çø¹ãÔ´½ÖµÀºÓ¶«Çø´óÖ±¹Á½ÖµÀ¹ã¶«Ê¡»ÝÖÝÊÐÁúÃÅÏØ¡°²ÏØÏòÑôÇøË«¾®½ÖµÀ½­Î÷ʡƼÏçÊÐÉÏÀõÏØÎ÷ÇàÇø¾«ÎäÕòÐÅÑôÊÐƽÇÅÇøÄÚÃɹŶõ¶û¶à˹Êпµ°ÍʲÇøËÄ´¨Ê¡Ò˱öÊн­°²ÏØÎäÇåÇøãâ¹Á¸ÛÕò¹ã¶«Ê¡·ðɽÊÐÈýË®Çø·À³Ç¸ÛÊж«ÐËÊаÙÉ«ÊÐÌïÁÖÏØɽÎ÷Ê¡½ú¶¼»á¸ßƽÊÐËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐɽ¶«Ê¡ÇൺÊгÇÑôÇø³¤°²Çø¹ã°²½ÖµÀ¹ÌÔ­ÊÐÎ÷¼ªÏØÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏØËÄ´¨Ê¡ãòÖÝÊн­ÑôÇøÐí²ýÊн¨°²Çø˳ÒåÇø¿Õ¸Û½ÖµÀ¸ÊËàÊ¡¸ÊÄϲØ×å×ÔÖÎÖÝÔªÊÏÏØËÄ´¨Ê¡Ò˱öÊÐçîÏØɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇøºÚÁú½­Ê¡¼Ñľ˹ÊÐÌÀÔ­ÏØÃÜÔÆÇø¹Å±±¿ÚÕòÎ÷ÏçÌÁÇøÔÞ»ÊÏØÎ÷ÁúÃÅÏçËÄ´¨Ê¡Ò˱öÊÐçîÏØËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØËÄ´¨Ê¡ËìÄþÊÐÅîϪÏؽ¹×÷ÊÐÏòÑôÇø¹ÜׯµØÇø»´ÄÏÊдóͨÇø°ö²ºÊÐÁú×ÓºþÇøºþ±±Ê¡Ð¢¸ÐÊкº´¨ÊÐɽÎ÷Ê¡Ë·ÖÝÊÐɽÒõÏؾ²º£Çø´óÇñׯÕò¸ÊËàÊ¡¸ÊÄϲØ×å×ÔÖÎÖÝɽ¶«Ê¡Íþº£ÊÐÄÏ¿ªÇø³¤ºç½ÖµÀ¹ȪÇø°×¹ȪÏçÔÆÄÏÊ¡Àö½­ÊÐÄþÝõÒÍ×å×ÔÖÎÏؽ­Î÷ʡӥ̶ÊÐÓ཭ÇøÐÂÀÖÊÐЭÉñÏçºþ±±Ê¡Ò˲ýÊÐÒ˶¼»áÇÅÎ÷Çø¶«»ª½ÖµÀÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏغ£ÄÏÊ¡ÙÙÖÝÊÐËÄ´¨Ê¡ËìÄþÊÐÅîϪÏظ£½¨Ê¡ÆÎÌïÊÐÏÉÓÎÏØ

ÊÛºó·þÎñÉÏÃÅ·þÎñµç»°£¬£¬
£¬ÖÇÄÜ·ÖÅäƱ¾Ý£ºMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦

Ëæ×ÅÊÓƵÌìÍâÐÐÒÕµÄÉú³¤£¬£¬
£¬Ä£×ÓÕýÔÚ´Ó¶ÌÊÓƵƬ¶ÏºÏ³É£¬£¬
£¬ÏòÁ÷ʽ³¤ÊÓƵÌìÉúÑݽø¡£¡£¡£¡£È»¶ø£¬£¬
£¬½ö½ö×öµ½ÊÓ¾õÉϵıÆÕæÊDz»·óµÄ¡£¡£¡£¡£Ò»¸ö¹¦Ð§ÍêÕûµÄÊÓƵÌìÏÂÄ£×Ó£¬£¬
£¬±ØÐèÄܹ»ÔÚ³¤Ê±Ðò½»»¥Öмá³ÖÎȹ̵ÄÄÚ²¿×´Ì¬£¬£¬
£¬²¢×ñÕÕÕæʵÌìϵÄÎïÀí¶¨ÂÉÓëÂß¼­¹æÔò¡£¡£¡£¡£

ΪÁËϵͳ»¯µØÁ¿»¯ºÍÆÀ¹ÀÕâÒ»½¹µãÄÜÁ¦£¬£¬
£¬Ç廪´óѧÓëÌÚѶ΢ÐÅÊÓ¾õÍŶÓÍƳöÁËMBench¡ª¡ª Ò»¸öרÃÅÕë¶ÔÁ÷ʽÊÓƵÌìÉúÄ£×ÓºÍÌìÏÂÄ£×ÓÓ°ÏóÄÜÁ¦µÄÆÀ²â»ù×¼¡£¡£¡£¡£

ÏîÄ¿Ö÷Ò³£º https://peanutup.github.io/MBench-project/´úÂë¿ÍÕ»£º https://github.com/study-overflow/MBenchÅÅÐаñÁ´½Ó£ºhttps://huggingface.co/spaces/study-overflow/MBench_Leaderboard

Ϊʲô¹Ø×¢ ¡°Ó°ÏóÄÜÁ¦¡±
£¿£¿£¿
£¿£¿£¿

ËäÈ»ÏÖÓеÄÊÓƵÌìÍâÐÐÒÕÒѾ­¿ÉÒԺϳÉÊÓ¾õÉÏ¿ÉÐŵÄÊÓƵƬ¶Ï£¬£¬
£¬µ«ÔÚ×ßÏò³¤ÊÓƵÌìÉúºÍ¹¦Ð§ÐÔµÄÌìÏÂÄ£Äâʱ£¬£¬
£¬Ò»¸ö¸ùÌìÐÔµÄÌôÕ½ÒÀÈ»±£´æ£ºÄ£×Ó±ØÐèÄܹ»ÖÒʵµØά³ÖÏÖʵÌìϵÄÊÓ¾õÌØÕ÷¡¢ÓïÒå¹æÔò¡¢ÄÚÔÚ¶¯Á¦Ñ§ºÍÎïÀí¼ÍÂÉ£¬£¬
£¬²¢¿É¿¿µØÖ§³Ö³¤Ê±ÐòµÄÕ¹Íû¡¢ÍÆÀíÓë½»»¥¡£¡£¡£¡£ÈôÊÇȱ·¦ÕâÖÖÄÜÁ¦£¬£¬
£¬Ëæ×ÅÌìÉúʱ¼äµÄÑÓÉì»ò½»»¥µÄÔöÌí£¬£¬
£¬ÊÓƵÍùÍù»á·ºÆðÎïÌåºÍÈËÎïÊÓ¾õÌØÕ÷Í»±ä¡¢³¡¾°½á¹¹±ÀËú»òÒò¹û¹Øϵ¹ýʧµÈÕ÷Ïó¡£¡£¡£¡£

ÕâÖÖ´Ó ¡°ÊÓ¾õºÏ³É¡± Ïò ¡°ÌìϽ¨Ä£¡± µÄ¿çÔ½£¬£¬
£¬ÊµÖÊÉÏÐèҪģ×Ӿ߱¸ºã¾ÃÓ°ÏóÄÜÁ¦£¬£¬
£¬ÒÔά³ÖÄÚ²¿ÌìÏÂ״̬ÔÚ³¤Ê±ÐòºÍÖØ´ó½»»¥ÖеÄÎȹÌÐÔÓëÒ»ÖÂÐÔ¡£¡£¡£¡£

È»¶ø£¬£¬
£¬Ä¿½ñµÄÊÓƵÌìÉúÆÀ²â»ù×¼£¨Èç VBench µÈ£©Ö÷Òª×ÅÖØÓÚµ¥´Î¶ÌÊÓƵÌìÉúµÄÊÓ¾õÖÊÁ¿¡¢Ô˶¯Á¬¹áÐÔ»òÎı¾¶ÔÆë¡£¡£¡£¡£ÕâЩָ±êÄܹ»È¨ºâÌìÉúµÄÊÓƵ ¡°¿´ÆðÀ´Õæ²»Õ桱£¬£¬
£¬È´ºöÂÔÁ˶ÔÌìÏ ¡°³¤ÆÚÊôÐÔ¡± ±£´æÄÜÁ¦µÄÁ¿»¯¡£¡£¡£¡£ÎªÁËÌî²¹ÕâÒ»¿Õȱ£¬£¬
£¬ÏµÍ³ÐÔµØȨºâÄ£×ÓÄÜ·ñÕæÕý¼Ç×Ų¢Ä£ÄâÎïÀíÌìÏ£¬£¬
£¬MBench Ê״ν«ÊÓƵºÍÌìÏÂÄ£×ÓÔÚ³¤Ê±ÐòϵÄÓ°ÏóÄÜÁ¦×÷Ϊ½¹µãÊӲ칤¾ß¾ÙÐÐÁËרÏî»ù×¼²âÊÔ¡£¡£¡£¡£

MBench ºÍÖ÷Á÷ÊÓƵÌìÏÂÄ£×Ó benchmark µÄ½ÏÁ¿

MBench µÄ¶àά¶È¼Ü¹¹

MBench »ùÓÚ 1040 ¸ö°¸Àý£¬£¬
£¬½«Ó°ÏóÄÜÁ¦½â¹¹ÎªÈý¸ö»¥²¹µÄ½¹µãά¶È£¬£¬
£¬²¢½øÒ»²½Ï¸·ÖΪ 12 ¸ö¿ÉÁ¿»¯µÄ×Óά¶È£¬£¬
£¬º­¸ÇÁË´Ó¾²Ì¬ÊôÐÔµ½¶¯Ì¬Òò¹ûµÄÈ«·½Î»Ó°ÏóÒªÇó£º

MBench µÄÆÀ²âά¶È»®·Ö

ʵÌåÒ»ÖÂÐÔ (Entity Consistency)£º

ʵÌåÒ»ÖÂÐÔ¹Øעģ×Ó±£´æ¸öÌå¼ÓÈëÕß³¤ÆÚÉí·ÝºÍÊôÐÔµÄÄÜÁ¦¡£¡£¡£¡£°üÀ¨ÎïÌåÒ»ÖÂÐÔ£¨¼¸ºÎ¡¢ÎÆÀí£©ºÍÈËÀàÒ»ÖÂÐÔ£¨Éí·ÝÌØÕ÷¡¢Íâ¹Ûϸ½Ú£©¡£¡£¡£¡£¼òÆÓÀ´Ëµ£¬£¬
£¬¾ÍÊǵ±Ò»¸öÈË»òÎïÌå±»ÕÚµ²¡¢ÍÑÀë»­ÃæÔÙ»ØÀ´Ê±£¬£¬
£¬ËüµÄÑù×Ó¡¢ÒÂ×Å¡¢ÌØÕ÷ÊÇ·ñ¼á³ÖÎȹÌ¡£¡£¡£¡£

ÇéÐÎÒ»ÖÂÐÔ (Environment Consistency)£º

ÇéÐÎÒ»ÖÂÐÔȨºâÄ£Äⳡ¾°µÄÎȹÌÐÔ¡£¡£¡£¡£°üÀ¨¿Õ¼äÒ»ÖÂÐÔ£¨Í¨¹ý¼«Ïß¼¸ºÎºÍÖØͶӰÎó²îȨºâ 3D ½á¹¹£©ºÍäÖȾһÖÂÐÔ£¨¹âÕÕÓëÆø¸ÅµÄÎȹÌÐÔ£©¡£¡£¡£¡£»£»£»£»£ÇéÐÎÒ»ÖÂÐÔÄ¥Á·µÄÊÇÄ£×Ó¶Ô 3D ¿Õ¼äÌìϵÄÃ÷È·ÄÜÁ¦ ¡ª¡ª µ±Ïà»úÒƶ¯¡¢ÐýתÔٻص½Ô­Î»Ê±£¬£¬
£¬·¿¼äµÄ½á¹¹¡¢³¡¾°µÄ½á¹¹ÊÇ·ñºÍ֮ǰ¼á³ÖÒ»Ö£»£»£»£»£»¶øäÖȾһÖÂÐÔȨºâÊÓƵÕûÌåÉϹâÏßµÄÆ«ÏòºÍÕûÌåµÄ»­ÃæÆø¸ÅÊÇ·ñÄܼá³ÖÒ»Ö¡£¡£¡£¡£

Òò¹ûÒ»ÖÂÐÔ (Causal Consistency)£º

Òò¹ûÒ»ÖÂÐÔȨºâÄ£×ÓÄÜ·ñ¼Ç×ÅÊÂÎñµÄÒò¹ûÂß¼­£¬£¬
£¬·ÖΪ×ÔÑÝ»¯ºÍ½»»¥¡£¡£¡£¡£ÕâÊÇ×î¸ß¼¶µÄÓ°ÏóÄÜÁ¦£ºÀýÈ磬£¬
£¬µ±Ò»¸öÎïÌåÕýÔÚ±»´òË飬£¬
£¬¶øÏà»úÒÆ¿ªÔÙת»Ø£¬£¬
£¬µØÉÏÓ¦¸Ã±¬·¢ÏìÓ¦µÄËéƬ£»£»£»£»£»µ±Äãͨ¹ýÎı¾Ö¸ÁîÄ£×ÓÒƶ¯Ò»¸öÎïÌ壬£¬
£¬Ä£×ÓÓ¦¸Ã׼ȷִÐв¢¼Ç×ÅеÄλÖ㬣¬
£¬×ÝÈ»ÎïÌåÔÚÄ¿½ñµÄ»­ÃæÖÐÒѾ­±äµÃ²»¿É¼û¡£¡£¡£¡£

Õë¶ÔÌìÉúËæ»úÐÔµÄÆÀ·Ö»úÖÆ£ºTrigger-Conditioned Scoring

ÔÚÆÀ¹ÀÊÓƵģ×ÓµÄÓ°ÏóÄÜÁ¦Ê±£¬£¬
£¬ÍŶӷ¢Ã÷ÁËÒ»¸öÖ÷ÒªµÄ×ÌÈÅÒòËØ£¨confound£©¡ª¡ª Ä£×Ó¶ÔÓ°Ïó´¥·¢ÊÂÎñµÄÏìÓ¦ÄÜÁ¦±£´æ²î±ð¡£¡£¡£¡£ÀýÈ磬£¬
£¬¹ØÓÚÎı¾Ìõ¼þÄ£×Ó£¬£¬
£¬ÆäÌìÉúµÄÊÓƵÍùÍùÎÞ·¨ÕæÕý·ºÆðÌáÐÑ´ÊÖÐÒªÇóµÄ¾µÍ·Ô˶¯¡¢ÎïÌåÕÚµ²»ò¶¯Ì¬×ª±ä£»£»£»£»£»¹ØÓÚÐж¯Çý¶¯µÄÌìÏÂÄ£×Ó£¬£¬
£¬Ò²¿ÉÄܱ£´æÌìÉúµÄÊÓƵÎÞ·¨×¼È·ÏìÓ¦Ïà»úÔ˶¯µÄÕ÷Ïó¡£¡£¡£¡£Õâµ¼ÖÂÄ£×Ó¿ÉÄÜ»áͨ¹ýÌìÉú¾²Ì¬»òÊؾÉÄÚÈݵķ½Ê½À´±Ü¿ªÌôÕ½£¬£¬
£¬´Ó¶ø»ñµÃÐé¸ßµÄÒ»ÖÂÐÔÆÀ·Ö¡£¡£¡£¡£

Ϊ´Ë£¬£¬
£¬MBench ÒýÈëÁË´¥·¢Ìõ¼þÆÀ·Ö£¨Trigger-Conditioned Scoring£©»úÖÆ£¬£¬
£¬½«µÃ·Ö²ð½âΪÁ½¸ö²¿·Ö£º

1.´¥·¢ÁýÕÖÂÊ (Trigger Coverage, C_trig)£ºÑé֤ģ×ÓÊÇ·ñÀÖ³ÉÖ´ÐÐÁËÓ°ÏóÌôÕ½ÊÂÎñ£¨ÈçÎïÌå³ö¾µÔÙÈë¾µ£©¡£¡£¡£¡£

2.Ó°Ïó¿É¿¿¶È (Memory Reliability, S_rel)£º½öÔÚÀֳɴ¥·¢ÌôÕ½µÄÑù±¾ÉÏÅÌËãÒ»ÖÂÐԵ÷Ö¡£¡£¡£¡£

×îÖÕµÄ M-Score È¡Á½Õߵĵ÷Çå¾²¾ùÊý£¬£¬
£¬Ö¼ÔÚ´¦·Öͨ¹ýÌìÉúÊØ¾É / ¾²Ì¬ÄÚÈÝÀ´¹æ±ÜÒ»ÖÂÐÔÌôÕ½µÄÐÐΪ£¬£¬
£¬½±ÀøÄÇЩ¼ÈÄÜÄ£Ä⶯̬ÌìÏÂÓÖÄܼá³ÖÒ»ÖÂÐÔµÄÄ£×Ó¡£¡£¡£¡£

¶Ô 14 ¸öÖ÷Á÷ SOTA Ä£×ÓµÄÆÀ²â·¢Ã÷

MBench ¶Ô 8 ¸öÎı¾Çý¶¯Ä£×ÓºÍ 6 ¸öÐж¯Çý¶¯Ä£×Ó¾ÙÐÐÁË´ó¹æÄ£ÆÀ²â£¬£¬
£¬ÆÀ²âЧ¹ûÅú×¢£¬£¬
£¬ÏÖÔÚ²¢²»±£´æ¼òµ¥Ä£×Ó¿ÉÒÔÔÚËùÓÐά¶ÈÉ϶¼ÌåÏÖ¾«²Ê£¬£¬
£¬Ó°ÏóÄÜÁ¦ÈÔÈ»ÊÇÁ÷ʽÊÓƵÌìÉúºÍÌìÏÂÄ£×ÓµÄÆÕ±éÆ¿¾±¡£¡£¡£¡£

Ä£×Ó·ÖÊýÀ×´ïͼ

ʵÑéÆÀ²âЧ¹û

¶ÔʵÑéЧ¹û¾ÙÐÐÆÊÎö£¬£¬
£¬»¹¿ÉÒÔ»ñµÃÈçÏ·¢Ã÷£º

¿Õ¼äÓëÒò¹ûÄÜÁ¦ÊÇÖ÷Ҫƿ¾±£ºÆÀ²âЧ¹ûÏÔʾ£¬£¬
£¬´ó¶¼Ä£×ÓÔÚ³¤Ê±ÐòÊÓ½Çת»»ÏµĿռ伸ºÎ»¹Ô­£¬£¬
£¬ÒÔ¼°Éæ¼°ÎïÀíÑÝ»¯µÄÒò¹ûÂß¼­¼á³ÖÉϱ£´æÏÔÖøȱÏÝ£¬£¬
£¬ÄÑÒÔÕÒ»ØÏûÊŵÄÊÓͼ»òÑÓÐø»­ÃæÍâµÄÎïÀíÀú³Ì¡£¡£¡£¡£Ðж¯Çý¶¯Ä£× ¡°Æ«¿Æ¡± Õ÷Ïó£ºÐж¯Ìõ¼þÄ£×ÓËäÈ»ÔÚ¿Õ¼äÎȹÌÐÔÖ¸±êÉÏÌåÏֽϺ㬣¬
£¬µ«±£´æÒ»¸öÆÕ±éµÄʧЧģʽ ¡ª¡ª ¼´ÇãÏòÓÚÌìÉúÌ«¹ý¾²Ì¬µÄ³¡¾°¡£¡£¡£¡£ÕâÖÖ·½Ê½ËäÈ»¹æ±ÜÁË¿Õ¼äÌ®Ëõ£¬£¬
£¬µ«Ä£×ÓÏÖʵÉÏÎÞ·¨Çý¶¯ÖØ´óµÄÎïÀíÑÝ»¯¡£¡£¡£¡£ÊÓ¾õ±ÆÕæ¶È²»¼´ÊÇÓ°ÏóÎȹÌÐÔ£ºÊµÑé֤ʵ£¬£¬
£¬Äܹ»ºÏ³É¸ßÖÊÁ¿¡¢¸ß±£Õæ»­ÃæµÄÄ£×Ó£¬£¬
£¬ÔÚ³¤Ê±ÐòÓ°Ïóά¶ÈÉÏ·×Æ綨ռÓÅ¡£¡£¡£¡£Õâ˵Ã÷´¿´âµÄÊÓ¾õÌìÉúÖ¸±êÎÞ·¨Ìæ»»¶ÔÄ£×ÓÄÚ²¿×´Ì¬³¤ÆÚÐÔµÄרÏîÆÀ¹À£¬£¬
£¬Ö¤ÊµÎú½¨ÉèÓ°ÏóÄÜÁ¦»ù×¼µÄÐëÒªÐÔ¡£¡£¡£¡£

´ÓÌìÉúµ¥ÕÅͼƬµ½ºÏÒòËØÖÓ¼¶ÊÓƵ£¬£¬
£¬ÊÓƵÌìÍâÐÐÒÕÒѾ­È¡µÃÁËÁîÈËÖõÄ¿µÄÇ°½ø¡£¡£¡£¡£È»¶ø£¬£¬
£¬ÒªÊµÏÖÄܹ»Ã÷È·¡¢Õ¹Íû²¢¾ÙÐн»»¥µÄÌìÏÂÄ£×Ó£¬£¬
£¬²¢ÈÃÁ÷ʽÊÓƵÌìÉú¼á³Ö³¤Ê±Ò»ÖÂÐÔ£¬£¬
£¬ÎÒÃÇÈÔÓкܳ¤µÄ·Ҫ×ß¡£¡£¡£¡£¶ø ¡°Ó°Ïó¡±£¬£¬
£¬ÕýÊǹ¹½¨ÕâЩ½¹µãÄÜÁ¦µÄ»ùʯ¡£¡£¡£¡£MBench Õ¹ÏÖÁËÄ¿½ñÖ÷Á÷Ä£×ÓÔÚÓ°ÏóÄÜÁ¦ÉϵÄÕæʵ½çÏߣ¬£¬
£¬Ò²ÎªÎ´À´µÄÑо¿Ö¸Ã÷ÎúÆ«Ïò¡£¡£¡£¡£

ÏÖÔÚ£¬£¬
£¬MBench ÒÑÖÜÈ«¿ªÔ´£¬£¬
£¬¿ªÔ´ÄÚÈÝ°üÀ¨£ºÍêÕûµÄ 1040 ¸öÆÀ²â°¸ÀýÊý¾Ý¼¯¡¢×Ô¶¯»¯ÆÀ²â´úÂëÓ빤¾ßÁ´¡¢ÊµÊ±¸üеĹûÕæÅÅÐаñ£¬£¬
£¬ÒÔ¼°ÏêϸµÄÊÖÒÕ±¨¸æÓëʵÑéЧ¹û¡£¡£¡£¡£ÏàÐÅÔÚ MBench µÄÍƶ¯Ï£¬£¬
£¬ÎÒÃÇÖÕ½«Ó­À´Äܹ» ¡°¼Ç×ÅÌìÏ¡¢Ã÷È·ÌìÏ¡¢Õ¹ÍûÌìÏ¡± µÄÏÂÒ»´úÊÓƵÌìÏÂÄ£×Ó¡£¡£¡£¡£

½ñÈÕÑо¿»ú¹¹¹ûÕæÐÐҵж¯Ì¬MBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦

Ëæ×ÅÊÓƵÌìÍâÐÐÒÕµÄÉú³¤£¬£¬
£¬Ä£×ÓÕýÔÚ´Ó¶ÌÊÓƵƬ¶ÏºÏ³É£¬£¬
£¬ÏòÁ÷ʽ³¤ÊÓƵÌìÉúÑݽø¡£¡£¡£¡£È»¶ø£¬£¬
£¬½ö½ö×öµ½ÊÓ¾õÉϵıÆÕæÊDz»·óµÄ¡£¡£¡£¡£Ò»¸ö¹¦Ð§ÍêÕûµÄÊÓƵÌìÏÂÄ£×Ó£¬£¬
£¬±ØÐèÄܹ»ÔÚ³¤Ê±Ðò½»»¥Öмá³ÖÎȹ̵ÄÄÚ²¿×´Ì¬£¬£¬
£¬²¢×ñÕÕÕæʵÌìϵÄÎïÀí¶¨ÂÉÓëÂß¼­¹æÔò¡£¡£¡£¡£

ΪÁËϵͳ»¯µØÁ¿»¯ºÍÆÀ¹ÀÕâÒ»½¹µãÄÜÁ¦£¬£¬
£¬Ç廪´óѧÓëÌÚѶ΢ÐÅÊÓ¾õÍŶÓÍƳöÁËMBench¡ª¡ª Ò»¸öרÃÅÕë¶ÔÁ÷ʽÊÓƵÌìÉúÄ£×ÓºÍÌìÏÂÄ£×ÓÓ°ÏóÄÜÁ¦µÄÆÀ²â»ù×¼¡£¡£¡£¡£

ÏîÄ¿Ö÷Ò³£º https://peanutup.github.io/MBench-project/´úÂë¿ÍÕ»£º https://github.com/study-overflow/MBenchÅÅÐаñÁ´½Ó£ºhttps://huggingface.co/spaces/study-overflow/MBench_Leaderboard

Ϊʲô¹Ø×¢ ¡°Ó°ÏóÄÜÁ¦¡±
£¿£¿£¿
£¿£¿£¿

ËäÈ»ÏÖÓеÄÊÓƵÌìÍâÐÐÒÕÒѾ­¿ÉÒԺϳÉÊÓ¾õÉÏ¿ÉÐŵÄÊÓƵƬ¶Ï£¬£¬
£¬µ«ÔÚ×ßÏò³¤ÊÓƵÌìÉúºÍ¹¦Ð§ÐÔµÄÌìÏÂÄ£Äâʱ£¬£¬
£¬Ò»¸ö¸ùÌìÐÔµÄÌôÕ½ÒÀÈ»±£´æ£ºÄ£×Ó±ØÐèÄܹ»ÖÒʵµØά³ÖÏÖʵÌìϵÄÊÓ¾õÌØÕ÷¡¢ÓïÒå¹æÔò¡¢ÄÚÔÚ¶¯Á¦Ñ§ºÍÎïÀí¼ÍÂÉ£¬£¬
£¬²¢¿É¿¿µØÖ§³Ö³¤Ê±ÐòµÄÕ¹Íû¡¢ÍÆÀíÓë½»»¥¡£¡£¡£¡£ÈôÊÇȱ·¦ÕâÖÖÄÜÁ¦£¬£¬
£¬Ëæ×ÅÌìÉúʱ¼äµÄÑÓÉì»ò½»»¥µÄÔöÌí£¬£¬
£¬ÊÓƵÍùÍù»á·ºÆðÎïÌåºÍÈËÎïÊÓ¾õÌØÕ÷Í»±ä¡¢³¡¾°½á¹¹±ÀËú»òÒò¹û¹Øϵ¹ýʧµÈÕ÷Ïó¡£¡£¡£¡£

ÕâÖÖ´Ó ¡°ÊÓ¾õºÏ³É¡± Ïò ¡°ÌìϽ¨Ä£¡± µÄ¿çÔ½£¬£¬
£¬ÊµÖÊÉÏÐèҪģ×Ӿ߱¸ºã¾ÃÓ°ÏóÄÜÁ¦£¬£¬
£¬ÒÔά³ÖÄÚ²¿ÌìÏÂ״̬ÔÚ³¤Ê±ÐòºÍÖØ´ó½»»¥ÖеÄÎȹÌÐÔÓëÒ»ÖÂÐÔ¡£¡£¡£¡£

È»¶ø£¬£¬
£¬Ä¿½ñµÄÊÓƵÌìÉúÆÀ²â»ù×¼£¨Èç VBench µÈ£©Ö÷Òª×ÅÖØÓÚµ¥´Î¶ÌÊÓƵÌìÉúµÄÊÓ¾õÖÊÁ¿¡¢Ô˶¯Á¬¹áÐÔ»òÎı¾¶ÔÆë¡£¡£¡£¡£ÕâЩָ±êÄܹ»È¨ºâÌìÉúµÄÊÓƵ ¡°¿´ÆðÀ´Õæ²»Õ桱£¬£¬
£¬È´ºöÂÔÁ˶ÔÌìÏ ¡°³¤ÆÚÊôÐÔ¡± ±£´æÄÜÁ¦µÄÁ¿»¯¡£¡£¡£¡£ÎªÁËÌî²¹ÕâÒ»¿Õȱ£¬£¬
£¬ÏµÍ³ÐÔµØȨºâÄ£×ÓÄÜ·ñÕæÕý¼Ç×Ų¢Ä£ÄâÎïÀíÌìÏ£¬£¬
£¬MBench Ê״ν«ÊÓƵºÍÌìÏÂÄ£×ÓÔÚ³¤Ê±ÐòϵÄÓ°ÏóÄÜÁ¦×÷Ϊ½¹µãÊӲ칤¾ß¾ÙÐÐÁËרÏî»ù×¼²âÊÔ¡£¡£¡£¡£

MBench ºÍÖ÷Á÷ÊÓƵÌìÏÂÄ£×Ó benchmark µÄ½ÏÁ¿

MBench µÄ¶àά¶È¼Ü¹¹

MBench »ùÓÚ 1040 ¸ö°¸Àý£¬£¬
£¬½«Ó°ÏóÄÜÁ¦½â¹¹ÎªÈý¸ö»¥²¹µÄ½¹µãά¶È£¬£¬
£¬²¢½øÒ»²½Ï¸·ÖΪ 12 ¸ö¿ÉÁ¿»¯µÄ×Óά¶È£¬£¬
£¬º­¸ÇÁË´Ó¾²Ì¬ÊôÐÔµ½¶¯Ì¬Òò¹ûµÄÈ«·½Î»Ó°ÏóÒªÇó£º

MBench µÄÆÀ²âά¶È»®·Ö

ʵÌåÒ»ÖÂÐÔ (Entity Consistency)£º

ʵÌåÒ»ÖÂÐÔ¹Øעģ×Ó±£´æ¸öÌå¼ÓÈëÕß³¤ÆÚÉí·ÝºÍÊôÐÔµÄÄÜÁ¦¡£¡£¡£¡£°üÀ¨ÎïÌåÒ»ÖÂÐÔ£¨¼¸ºÎ¡¢ÎÆÀí£©ºÍÈËÀàÒ»ÖÂÐÔ£¨Éí·ÝÌØÕ÷¡¢Íâ¹Ûϸ½Ú£©¡£¡£¡£¡£¼òÆÓÀ´Ëµ£¬£¬
£¬¾ÍÊǵ±Ò»¸öÈË»òÎïÌå±»ÕÚµ²¡¢ÍÑÀë»­ÃæÔÙ»ØÀ´Ê±£¬£¬
£¬ËüµÄÑù×Ó¡¢ÒÂ×Å¡¢ÌØÕ÷ÊÇ·ñ¼á³ÖÎȹÌ¡£¡£¡£¡£

ÇéÐÎÒ»ÖÂÐÔ (Environment Consistency)£º

ÇéÐÎÒ»ÖÂÐÔȨºâÄ£Äⳡ¾°µÄÎȹÌÐÔ¡£¡£¡£¡£°üÀ¨¿Õ¼äÒ»ÖÂÐÔ£¨Í¨¹ý¼«Ïß¼¸ºÎºÍÖØͶӰÎó²îȨºâ 3D ½á¹¹£©ºÍäÖȾһÖÂÐÔ£¨¹âÕÕÓëÆø¸ÅµÄÎȹÌÐÔ£©¡£¡£¡£¡£»£»£»£»£ÇéÐÎÒ»ÖÂÐÔÄ¥Á·µÄÊÇÄ£×Ó¶Ô 3D ¿Õ¼äÌìϵÄÃ÷È·ÄÜÁ¦ ¡ª¡ª µ±Ïà»úÒƶ¯¡¢ÐýתÔٻص½Ô­Î»Ê±£¬£¬
£¬·¿¼äµÄ½á¹¹¡¢³¡¾°µÄ½á¹¹ÊÇ·ñºÍ֮ǰ¼á³ÖÒ»Ö£»£»£»£»£»¶øäÖȾһÖÂÐÔȨºâÊÓƵÕûÌåÉϹâÏßµÄÆ«ÏòºÍÕûÌåµÄ»­ÃæÆø¸ÅÊÇ·ñÄܼá³ÖÒ»Ö¡£¡£¡£¡£

Òò¹ûÒ»ÖÂÐÔ (Causal Consistency)£º

Òò¹ûÒ»ÖÂÐÔȨºâÄ£×ÓÄÜ·ñ¼Ç×ÅÊÂÎñµÄÒò¹ûÂß¼­£¬£¬
£¬·ÖΪ×ÔÑÝ»¯ºÍ½»»¥¡£¡£¡£¡£ÕâÊÇ×î¸ß¼¶µÄÓ°ÏóÄÜÁ¦£ºÀýÈ磬£¬
£¬µ±Ò»¸öÎïÌåÕýÔÚ±»´òË飬£¬
£¬¶øÏà»úÒÆ¿ªÔÙת»Ø£¬£¬
£¬µØÉÏÓ¦¸Ã±¬·¢ÏìÓ¦µÄËéƬ£»£»£»£»£»µ±Äãͨ¹ýÎı¾Ö¸ÁîÄ£×ÓÒƶ¯Ò»¸öÎïÌ壬£¬
£¬Ä£×ÓÓ¦¸Ã׼ȷִÐв¢¼Ç×ÅеÄλÖ㬣¬
£¬×ÝÈ»ÎïÌåÔÚÄ¿½ñµÄ»­ÃæÖÐÒѾ­±äµÃ²»¿É¼û¡£¡£¡£¡£

Õë¶ÔÌìÉúËæ»úÐÔµÄÆÀ·Ö»úÖÆ£ºTrigger-Conditioned Scoring

ÔÚÆÀ¹ÀÊÓƵģ×ÓµÄÓ°ÏóÄÜÁ¦Ê±£¬£¬
£¬ÍŶӷ¢Ã÷ÁËÒ»¸öÖ÷ÒªµÄ×ÌÈÅÒòËØ£¨confound£©¡ª¡ª Ä£×Ó¶ÔÓ°Ïó´¥·¢ÊÂÎñµÄÏìÓ¦ÄÜÁ¦±£´æ²î±ð¡£¡£¡£¡£ÀýÈ磬£¬
£¬¹ØÓÚÎı¾Ìõ¼þÄ£×Ó£¬£¬
£¬ÆäÌìÉúµÄÊÓƵÍùÍùÎÞ·¨ÕæÕý·ºÆðÌáÐÑ´ÊÖÐÒªÇóµÄ¾µÍ·Ô˶¯¡¢ÎïÌåÕÚµ²»ò¶¯Ì¬×ª±ä£»£»£»£»£»¹ØÓÚÐж¯Çý¶¯µÄÌìÏÂÄ£×Ó£¬£¬
£¬Ò²¿ÉÄܱ£´æÌìÉúµÄÊÓƵÎÞ·¨×¼È·ÏìÓ¦Ïà»úÔ˶¯µÄÕ÷Ïó¡£¡£¡£¡£Õâµ¼ÖÂÄ£×Ó¿ÉÄÜ»áͨ¹ýÌìÉú¾²Ì¬»òÊؾÉÄÚÈݵķ½Ê½À´±Ü¿ªÌôÕ½£¬£¬
£¬´Ó¶ø»ñµÃÐé¸ßµÄÒ»ÖÂÐÔÆÀ·Ö¡£¡£¡£¡£

Ϊ´Ë£¬£¬
£¬MBench ÒýÈëÁË´¥·¢Ìõ¼þÆÀ·Ö£¨Trigger-Conditioned Scoring£©»úÖÆ£¬£¬
£¬½«µÃ·Ö²ð½âΪÁ½¸ö²¿·Ö£º

1.´¥·¢ÁýÕÖÂÊ (Trigger Coverage, C_trig)£ºÑé֤ģ×ÓÊÇ·ñÀÖ³ÉÖ´ÐÐÁËÓ°ÏóÌôÕ½ÊÂÎñ£¨ÈçÎïÌå³ö¾µÔÙÈë¾µ£©¡£¡£¡£¡£

2.Ó°Ïó¿É¿¿¶È (Memory Reliability, S_rel)£º½öÔÚÀֳɴ¥·¢ÌôÕ½µÄÑù±¾ÉÏÅÌËãÒ»ÖÂÐԵ÷Ö¡£¡£¡£¡£

×îÖÕµÄ M-Score È¡Á½Õߵĵ÷Çå¾²¾ùÊý£¬£¬
£¬Ö¼ÔÚ´¦·Öͨ¹ýÌìÉúÊØ¾É / ¾²Ì¬ÄÚÈÝÀ´¹æ±ÜÒ»ÖÂÐÔÌôÕ½µÄÐÐΪ£¬£¬
£¬½±ÀøÄÇЩ¼ÈÄÜÄ£Ä⶯̬ÌìÏÂÓÖÄܼá³ÖÒ»ÖÂÐÔµÄÄ£×Ó¡£¡£¡£¡£

¶Ô 14 ¸öÖ÷Á÷ SOTA Ä£×ÓµÄÆÀ²â·¢Ã÷

MBench ¶Ô 8 ¸öÎı¾Çý¶¯Ä£×ÓºÍ 6 ¸öÐж¯Çý¶¯Ä£×Ó¾ÙÐÐÁË´ó¹æÄ£ÆÀ²â£¬£¬
£¬ÆÀ²âЧ¹ûÅú×¢£¬£¬
£¬ÏÖÔÚ²¢²»±£´æ¼òµ¥Ä£×Ó¿ÉÒÔÔÚËùÓÐά¶ÈÉ϶¼ÌåÏÖ¾«²Ê£¬£¬
£¬Ó°ÏóÄÜÁ¦ÈÔÈ»ÊÇÁ÷ʽÊÓƵÌìÉúºÍÌìÏÂÄ£×ÓµÄÆÕ±éÆ¿¾±¡£¡£¡£¡£

Ä£×Ó·ÖÊýÀ×´ïͼ

ʵÑéÆÀ²âЧ¹û

¶ÔʵÑéЧ¹û¾ÙÐÐÆÊÎö£¬£¬
£¬»¹¿ÉÒÔ»ñµÃÈçÏ·¢Ã÷£º

¿Õ¼äÓëÒò¹ûÄÜÁ¦ÊÇÖ÷Ҫƿ¾±£ºÆÀ²âЧ¹ûÏÔʾ£¬£¬
£¬´ó¶¼Ä£×ÓÔÚ³¤Ê±ÐòÊÓ½Çת»»ÏµĿռ伸ºÎ»¹Ô­£¬£¬
£¬ÒÔ¼°Éæ¼°ÎïÀíÑÝ»¯µÄÒò¹ûÂß¼­¼á³ÖÉϱ£´æÏÔÖøȱÏÝ£¬£¬
£¬ÄÑÒÔÕÒ»ØÏûÊŵÄÊÓͼ»òÑÓÐø»­ÃæÍâµÄÎïÀíÀú³Ì¡£¡£¡£¡£Ðж¯Çý¶¯Ä£× ¡°Æ«¿Æ¡± Õ÷Ïó£ºÐж¯Ìõ¼þÄ£×ÓËäÈ»ÔÚ¿Õ¼äÎȹÌÐÔÖ¸±êÉÏÌåÏֽϺ㬣¬
£¬µ«±£´æÒ»¸öÆÕ±éµÄʧЧģʽ ¡ª¡ª ¼´ÇãÏòÓÚÌìÉúÌ«¹ý¾²Ì¬µÄ³¡¾°¡£¡£¡£¡£ÕâÖÖ·½Ê½ËäÈ»¹æ±ÜÁË¿Õ¼äÌ®Ëõ£¬£¬
£¬µ«Ä£×ÓÏÖʵÉÏÎÞ·¨Çý¶¯ÖØ´óµÄÎïÀíÑÝ»¯¡£¡£¡£¡£ÊÓ¾õ±ÆÕæ¶È²»¼´ÊÇÓ°ÏóÎȹÌÐÔ£ºÊµÑé֤ʵ£¬£¬
£¬Äܹ»ºÏ³É¸ßÖÊÁ¿¡¢¸ß±£Õæ»­ÃæµÄÄ£×Ó£¬£¬
£¬ÔÚ³¤Ê±ÐòÓ°Ïóά¶ÈÉÏ·×Æ綨ռÓÅ¡£¡£¡£¡£Õâ˵Ã÷´¿´âµÄÊÓ¾õÌìÉúÖ¸±êÎÞ·¨Ìæ»»¶ÔÄ£×ÓÄÚ²¿×´Ì¬³¤ÆÚÐÔµÄרÏîÆÀ¹À£¬£¬
£¬Ö¤ÊµÎú½¨ÉèÓ°ÏóÄÜÁ¦»ù×¼µÄÐëÒªÐÔ¡£¡£¡£¡£

´ÓÌìÉúµ¥ÕÅͼƬµ½ºÏÒòËØÖÓ¼¶ÊÓƵ£¬£¬
£¬ÊÓƵÌìÍâÐÐÒÕÒѾ­È¡µÃÁËÁîÈËÖõÄ¿µÄÇ°½ø¡£¡£¡£¡£È»¶ø£¬£¬
£¬ÒªÊµÏÖÄܹ»Ã÷È·¡¢Õ¹Íû²¢¾ÙÐн»»¥µÄÌìÏÂÄ£×Ó£¬£¬
£¬²¢ÈÃÁ÷ʽÊÓƵÌìÉú¼á³Ö³¤Ê±Ò»ÖÂÐÔ£¬£¬
£¬ÎÒÃÇÈÔÓкܳ¤µÄ·Ҫ×ß¡£¡£¡£¡£¶ø ¡°Ó°Ïó¡±£¬£¬
£¬ÕýÊǹ¹½¨ÕâЩ½¹µãÄÜÁ¦µÄ»ùʯ¡£¡£¡£¡£MBench Õ¹ÏÖÁËÄ¿½ñÖ÷Á÷Ä£×ÓÔÚÓ°ÏóÄÜÁ¦ÉϵÄÕæʵ½çÏߣ¬£¬
£¬Ò²ÎªÎ´À´µÄÑо¿Ö¸Ã÷ÎúÆ«Ïò¡£¡£¡£¡£

ÏÖÔÚ£¬£¬
£¬MBench ÒÑÖÜÈ«¿ªÔ´£¬£¬
£¬¿ªÔ´ÄÚÈÝ°üÀ¨£ºÍêÕûµÄ 1040 ¸öÆÀ²â°¸ÀýÊý¾Ý¼¯¡¢×Ô¶¯»¯ÆÀ²â´úÂëÓ빤¾ßÁ´¡¢ÊµÊ±¸üеĹûÕæÅÅÐаñ£¬£¬
£¬ÒÔ¼°ÏêϸµÄÊÖÒÕ±¨¸æÓëʵÑéЧ¹û¡£¡£¡£¡£ÏàÐÅÔÚ MBench µÄÍƶ¯Ï£¬£¬
£¬ÎÒÃÇÖÕ½«Ó­À´Äܹ» ¡°¼Ç×ÅÌìÏ¡¢Ã÷È·ÌìÏ¡¢Õ¹ÍûÌìÏ¡± µÄÏÂÒ»´úÊÓƵÌìÏÂÄ£×Ó¡£¡£¡£¡£

4 µÚËIJ½£ºÓá°±ðÈ˵ÄÊÂÒµ¡±°ïÄãÏ¿ÌÒâ

¿­Ê±AG

ýÌ壺¹ú¼Ê×ãÁªÊ¨×Ó´óÆô³Ý¸ã¼ÛÇ®ÆçÊÓ