±¾ÖÜÐÐҵЭ»á¹ûÕæÖ÷ÒªÑо¿Ð§¹ûCÂÞÐÂÔìÐÍÁÁÏà ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌâ
£¬£¬£¬£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷Ò»ÏÂ
¡£¡£Æ·ÅÆÊÚȨ±¨Ð޵绰
£¬£¬£¬£¬¿ìËÙÉÏÃÅ·þÎñ

½­ËÕÊ¡ÐìÖÝÊÐ˳ÒåÇø¿Õ¸Û½ÖµÀɽ¶«Ê¡ÁĶ¼»áÜÝƽÇøÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏØÉÂÎ÷Ê¡ÏÌÑôÊÐÐËƽÊн¹×÷ÊÐÖÐÕ¾ÇøÃÜÔÆÇøºÓÄÏÕ¯ÕòÑÓÇìÇøÉò¼ÒÓªÕò½­Î÷Ê¡¼ª°²Êмª°²ÏØÄÚÃɹÅÎÚº£ÊÐÎÚ´ïÇøÉÂÎ÷Ê¡Î÷°²ÊÐδÑëÇøɽÎ÷Ê¡½úÖÐÊÐÁéʯÏØËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐÁÉÄþÊ¡±¾ÏªÊÐϪºþÇøɽ¶«Ê¡ÔæׯÊÐ̨¶ùׯÇøºÓ¶«Çø´óÖ±¹Á½ÖµÀ¹ðÁÖÊÐÐË°²Ïؽ­Î÷Ê¡¾°µÂÕòÊвý½­Çø±±º£Êк£³ÇÇøÃÜÔÆÇø¹Å±±¿ÚÕò¾²º£Çø´óÇñׯÕò·ą́ÇøºÍÒå½ÖµÀÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏؼ»ÖÝÇø¶«Ê©¹ÅÕòÎ÷ÇàÇø¾«ÎäÕòɽÎ÷Ê¡½úÖÐÊÐÁéʯÏؼ»ÖÝÇø¶«ÕÔ¸÷ׯÕòÙñÖÝÊÐÀûÐÁÏØɽ¶«Ê¡ÁĶ¼»á¹ÚÏس¤°²Çø¹ã°²½ÖµÀɽ¶«Ê¡ÁĶ¼»á¹ÚÏØɽ¶«Ê¡Ì©°²Êж«Æ½ÏعóÖÝÊ¡Ç­Äϲ¼ÒÀ×åÃç×å×ÔÖÎÖÝ»ÝË®ÏØÁÉÄþÊ¡ÏòÑôÊб±Æ±ÊÐËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖÝãò¶¨Ïؼ»ÖÝÇø¶«¶þÓªÕòƽɽÏØÉϹÛÒôÌÃÏ粩¶ûËþÀ­ÃɹÅ×ÔÖÎÖÝÎÂȪÏØÔÆÄÏÊ¡ÓñϪÊÐÐÂƽÒÍ×å´ö×å×ÔÖÎÏغÚÁú½­Ê¡´óÐË°²ÁëµØÇøºôÂêÏØËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖݸÊÂåÏØ»³ÈáÇøÑãÆܵØÇøɽÎ÷Ê¡ÑôȪÊÐƽ¶¨ÏØÖØÇìÊÐÏØÎ×ɽÏØɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏؽ­Î÷Ê¡¸ÓÖÝÊÐʯ³ÇÏØɽÎ÷Ê¡ÐÃÖÝÊж¨ÏåÏظ£½¨Ê¡¸£ÖÝÊÐÓÀÌ©ÏعðÁÖÊÐÐã·åÇøɽ¶«Ê¡Ì©°²Êж«Æ½ÏغÚÁú½­Ê¡Æß̨ºÓÊÐÌÒɽÇø¸£½¨Ê¡ÆÎÌïÊÐÏÉÓÎÏØÇÕÖÝÊн­Î÷Ê¡¾Å½­ÊÐÎäÄþÏØÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇø°¢¿ËËÕµØÇø°Ý³ÇÏظÊËàʡ¤ÄÏÊÐÎ䶼ÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݾ®ÚêÏزâÓãÕòËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊаö²ºÊÐÁú×ÓºþÇøÇຣʡº£ÄϲØ×å×ÔÖÎÖݹóµÂÏعðÁÖÊÐÐË°²ÏØ·À³Ç¸ÛÊж«ÐËÊÐÄÚÃɹÅÎÚº£ÊÐÎÚ´ïÇø¡°²Ïؽ¹×÷ÊÐÇßÑôÊо®ÚêÏزâÓãÕò½­ËÕÊ¡ÐìÖÝÊÐÃÜÔÆÇøºÓÄÏÕ¯Õò³¤°²Çø¹ã°²½ÖµÀºþ±±Ê¡Ò˲ýÊÐÒÄÁêÇøÔªÊÏÏØÒó´åÕòËÄ´¨Ê¡ãòÖÝÊн­ÑôÇø±±º£Êк£³ÇÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݺþ±±Ê¡ÏåÑôÊÐÏåÖÝÇø½¹×÷ÊÐÖÐÕ¾ÇøÎ÷²ØɽÄÏÊи£½¨Ê¡ÕÄÖÝÊÐÁúº£Ê⩶ûËþÀ­ÃɹÅ×ÔÖÎÖÝÎÂȪÏØÑÓÇìÇø¿µ×¯Õò²ýƽÇøÑÓÊÙÕò¼»ÖÝÇø¶«Ê©¹ÅÕò±±³½Çø¹ãÔ´½ÖµÀ¸ÊËàÊ¡ÇìÑôÊÐÕòÔ­ÏØɽÎ÷Ê¡½ú¶¼»á¸ßƽÊÐÎäÇåÇøÉÏÂį́ÕòÉÂÎ÷Ê¡ººÖÐÊÐÎ÷ÏçÏؽ­ËÕÊ¡ËÕÖÝÊÐÏà³ÇÇøºþ±±Ê¡Ò˲ýÊÐÒ˶¼»áÎ÷ÏçÌÁÇøËÄ´¨Ê¡Ò˱öÊÐçîÏعóÖÝÊ¡ÁùÅÌË®ÊÐË®³ÇÏظ£½¨Ê¡¸£ÖÝÊÐÓÀÌ©ÏØÑÓÇìÇø¿µ×¯ÕòÐÅÑôÊÐƽÇÅÇø½­Î÷Ê¡¾°µÂÕòÊвý½­Çø¸ÊËàÊ¡¸ÊÄϲØ×å×ÔÖÎÖݺÚÁú½­Ê¡ÒÁ´ºÊнðÁÖÇø

±¾ÔÂÐÐҵЭ»á¹ûÕæÖØ´óÑо¿Ð§¹ûMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦
£¬£¬£¬£¬ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌâ
£¬£¬£¬£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷Ò»ÏÂ:¹Ù·½·þÎñרÏß
£¬£¬£¬£¬Ö§³Ö¶àÆ·ÅƱ¨ÐÞ

½­ËÕÊ¡ÐìÖÝÊÐÐÂÒÊÊÐɽÎ÷Ê¡³¤ÖÎÊÐÏåÔ«ÏØËÄ´¨Ê¡Ò˱öÊÐçîÏؽ­Î÷ʡƼÏçÊÐÉÏÀõÏØɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇø¹óÖÝÊ¡Í­ÈÊÊÐÓ¡½­ÍÁ¼Ò×åÃç×å×ÔÖÎÏظÊËàÊ¡¸ÊÄϲØ×å×ÔÖÎÖÝɽÎ÷Ê¡ÐÃÖÝÊж¨ÏåÏØÎ÷²ØɽÄÏÊй±¸ÂÏع㶫ʡ·ðɽÊÐÈýË®Çø½­Î÷Ê¡ÒË´ºÊÐÒË·áÏؽ­Î÷ʡӥ̶ÊÐÓ཭Çø¸ÊËàÊ¡¶¨Î÷ÊÐμԴÏØÄÏ¿ªÇøÌåÓýÖÐÐĽֵÀ±±º£Êк£³ÇÇøɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇøɽÎ÷Ê¡½úÖÐÊÐÁéʯÏØÄÏÑôÊÐÄÚÏçÏؽ­Î÷Ê¡¾Å½­ÊÐÎäÄþÏغÍÌïµØÇøºþ±±Ê¡¶÷Ê©ÍÁ¼Ò×åÃç×å×ÔÖÎÖݶ÷Ê©ÊиÊËàÊ¡°×ÒøÊо°Ì©ÏØÙñÖÝÊÐÀûÐÁÏØÒÁÀç¹þÈø¿Ë×ÔÖÎÖÝÕÑËÕÏظ£½¨Ê¡ÏÃÃÅÊк£²×Çøɽ¶«Ê¡ÁĶ¼»áÜÝƽÇøËÄ´¨Ê¡³É¶¼»áË«Á÷ÇøÉÂÎ÷Ê¡ÏÌÑôÊÐÐËƽÊÐɽ¶«Ê¡Ì©°²Êж«Æ½ÏØ¡°²ÏØ°ÍÒô¹ùÀãÃɹÅ×ÔÖÎÖݺÍ˶ÏØÉÂÎ÷Ê¡ººÖÐÊÐÎ÷ÏçÏØÄÚÃɹŶõ¶û¶à˹ÊжõÍпËÆ츣½¨Ê¡ÏÃÃÅÊкþÀïÇøËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐÄÏ¿ªÇøÌåÓýÖÐÐĽֵÀÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏؾ®ÚêÏØÎâ¼ÒÒ¤Ïç¸ÊËàÊ¡°×ÒøÊо°Ì©ÏØÇຣʡº£±±²Ø×å×ÔÖÎÖÝÃÅÔ´»Ø×å×ÔÖÎÏعȪÇø°×¹ȪÏçÄÏ¿ªÇøÌåÓýÖÐÐĽֵÀ½­Î÷Ê¡¾°µÂÕòÊвý½­Çø±±³½Çø¹ðÁÖÊÐÐã·åÇøÉÂÎ÷Ê¡ÏÌÑôÊÐÐËƽÊÐƽ¶¥É½ÊÐÎÀ¶«ÇøÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÕýÏâ°×Æì±±³½Çø¸ÊËàÊ¡ÌìË®ÊÐÇØÖÝÇøÏòÑôÇøС¹Ø½ÖµÀºÓ¶«Çø¶«Ð½ֵÀÉÂÎ÷Ê¡ººÖÐÊÐÄÏÖ£ÇøºÚÁú½­Ê¡´óÐË°²ÁëµØÇøºôÂêÏغÍÌïµØÇøºÏ·ÊÊÐÑþº£ÇøÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÏâ»ÆÆ츣½¨Ê¡ÄÏƽÊÐɽÎ÷Ê¡ÂÀÁºÊÐÖÐÑôÏØ¿ª·âÊÐͨÐíÏØɽ¶«Ê¡Íþº£ÊÐÇຣʡº£Î÷ÃɹÅ×å²Ø×å×ÔÖÎÖݵÂÁî¹þÊÐÎ÷²Ø°¢ÀïµØÇøÈÕÍÁÏؽ­ËÕÊ¡ËÕÖÝÊÐÏà³ÇÇøɽ¶«Ê¡ÁĶ¼»á¹ÚÏغ£ÄÏÊ¡ÙÙÖÝÊÐÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝãòÎ÷ÏØɽÎ÷Ê¡ÐÃÖÝÊж¨ÏåÏؽ­Î÷Ê¡¾°µÂÕòÊвý½­ÇøÄÚÃɹŶõ¶û¶à˹Êпµ°ÍʲÇøÄÏ¿ªÇøÌåÓýÖÐÐĽֵÀÎ÷³ÇÇøÔÂ̳½ÖµÀ»³ÈáÇøÑãÆܵØÇøËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖÝÎ÷²ýÊÐÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏؽ­Î÷ʡƼÏçÊÐÉÏÀõÏؽ­ËÕÊ¡Á¬ÔƸÛÊиÓÓÜÇøºÚÁú½­Ê¡¹þ¶û±õÊаÍÑåÏØËÄ´¨Ê¡Ò˱öÊÐçîÏØÃÜÔÆÇøºÓÄÏÕ¯Õò²©¶ûËþÀ­ÃɹÅ×ÔÖÎÖÝÎÂȪÏØËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݵ¤°ÍÏØÉÂÎ÷Ê¡±¦¼¦ÊÐǧÑôÏØɽ¶«Ê¡×Ͳ©ÊÐÁÙ×ÍÇøÔÆÄÏÊ¡ÎÄɽ׳×åÃç×å×ÔÖÎÖݹãÄÏÏؾ®ÚêÏزâÓãÕòÎ÷ÇàÇø¾«ÎäÕò·ą́ÇøºÍÒå½ÖµÀº£ÄÏÊ¡ÈýɳÊÐÎ÷ɳÇø½­Î÷Ê¡¾Å½­ÊÐÎäÄþÏØÃÜÔÆÇø²»ÀÏÍÍÕò½­Î÷Ê¡¼ª°²Êмª°²Ïؾ²º£ÇøÎ÷µÔׯÕòÑÓÇìÇø¿µ×¯Õò¸£½¨Ê¡ÏÃÃÅÊк£²×ÇøºÓÎ÷ÇøÌÒÔ°½ÖµÀËÄ´¨Ê¡³É¶¼»áË«Á÷ÇøÁÉÄþÊ¡ÉòÑôÊлëÄÏÇøºÚÁú½­Ê¡Æß̨ºÓÊÐÌÒɽÇøºþ±±Ê¡Ð¢¸ÐÊкº´¨ÊÐ

È«Çò·þÎñÇøÓò:ɽÎ÷Ê¡ÑôȪÊÐƽ¶¨ÏØËÄ´¨Ê¡ÀÖɽÊÐɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏغþ±±Ê¡¶÷Ê©ÍÁ¼Ò×åÃç×å×ÔÖÎÖݽ¨Ê¼ÏظÊËàÊ¡À¼ÖÝÊÐɽ¶«Ê¡ÑĮ̀ÊÐÁú¿ÚÊкþ±±Ê¡¶÷Ê©ÍÁ¼Ò×åÃç×å×ÔÖÎÖݽ¨Ê¼Ïغþ±±Ê¡Ò˲ýÊÐïö¹éÏع㶫ʡ¹ãÖÝÊÐÔ½ÐãÇøºÓÎ÷ÇøÌÒÔ°½ÖµÀ¹ã¶«Ê¡½­ÃÅÊÐÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏØɽÎ÷Ê¡½úÖÐÊÐÓÜÉçÏؽ­ËÕÊ¡Õò½­ÊоäÈÝÊÐÁÉÄþÊ¡ÉòÑôÊлëÄÏÇøɽÎ÷Ê¡½ú¶¼»á¸ßƽÊкþ±±Ê¡Ò˲ýÊÐÒÄÁêÇø±¦ÛæÇøÅ£¼ÒÅÆÕò¹ã¶«Ê¡»ÝÖÝÊÐÁúÃÅÏØÄÚÃɹźôÂ×±´¶ûÊа¢ÈÙÆì²ýƽÇøÑô·»Õò¹ã¶«Ê¡ÉÇÍ·ÊÐÁúºþÇøå§ÑôÊÐÄÏÀÖÏØÃÜÔÆÇøºÓÄÏÕ¯ÕòÃÅÍ·¹µÇø´óÓø½ÖµÀ³¤°²ÇøÄÏ´åÕò¸ÊËàʡ¤ÄÏÊÐÎ䶼ÇøÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏØÏòÑôÇøСºìÃŵØÇø¾®ÚêÏزâÓãÕò¡°²ÏØɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏؼªÁÖÊ¡³¤´ºÊÐË«ÑôÇø¸£½¨Ê¡ÆÎÌïÊгÇÏáÇøÎ÷²ØɽÄÏÊй±¸ÂÏØÕÔÏØɳºÓµêÕòº£ÄÏÊ¡º£¿£¿£¿ÚÊÐÃÀÀ¼Çø¹óÖÝÊ¡Í­ÈÊÊÐÓñÆÁ¶±×å×ÔÖÎÏØÎ÷³ÇÇøÌìÇŽֵÀËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØÔÆÄÏÊ¡Å­½­ÀüËÛ×å×ÔÖÎÖݸ£¹±Ïؾ®ÚêÏØÎâ¼ÒÒ¤Ïç°ö²ºÊÐÁú×ÓºþÇøÔÞ»ÊÏØÎ÷ÁúÃÅÏ缪ÁÖÊ¡³¤´ºÊÐË«ÑôÇøÄÚÃɹÅÎýÁÖ¹ùÀÕÃËÏâ»ÆÆìɽ¶«Ê¡Î«·»ÊÐÇàÖÝÊйÌÔ­ÊÐÎ÷¼ªÏØÉÂÎ÷Ê¡ººÖÐÊÐÎ÷ÏçÏؾ²º£Çø´óÇñׯÕòÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝãòÎ÷ÏØɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏعȪÇø°×¹ȪÏçÎߺþÊÐÄÏÁêÏØɽÎ÷Ê¡½úÖÐÊÐÓÜÉçÏغÚÁú½­Ê¡¹þ¶û±õÊаÍÑåÏØ˳ÒåÇø¿Õ¸Û½ÖµÀÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇøºÓ¶«Çø´óÖ±¹Á½ÖµÀÉÂÎ÷Ê¡±¦¼¦ÊÐüÏØÁÉÄþÊ¡ÉòÑôÊÐÉòºÓÇøËÄ´¨Ê¡³É¶¼»áж¼Çøɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇø¸£½¨Ê¡¸£ÖÝÊÐÓÀÌ©ÏغÚÁú½­Ê¡Ë绯ÊÐÃ÷Ë®ÏØËÄ´¨Ê¡Á¹É½ÒÍ×å×ÔÖÎÖݸÊÂåÏؽ­ËÕÊ¡ÐìÖÝÊзáÏØÁÉÄþÊ¡ÉòÑôÊлëÄÏÇø¸ÊËàÊ¡ÇìÑôÊÐÕòÔ­ÏØÁÉÄþÊ¡ÌúÁëÊпªÔ­Êкþ±±Ê¡¶÷Ê©ÍÁ¼Ò×åÃç×å×ÔÖÎÖݶ÷Ê©Êб±³½Çø¹ãÔ´½ÖµÀÇຣʡÓñÊ÷²Ø×å×ÔÖÎÖÝÖζàÏØɽ¶«Ê¡±õÖÝÊÐÇຣʡ¹ûÂå²Ø×å×ÔÖÎÖÝÔÆÄÏÊ¡´óÀí°××å×ÔÖÎÖÝÔÆÁúÏظÊËàʡ¤ÄÏÊÐÎ䶼ÇøÏòÑôÇøË«¾®½ÖµÀɽ¶«Ê¡ÇൺÊгÇÑôÇøÏòÑôÇø¶¹¸÷ׯµØÇøÄÚÃɹŶõ¶û¶à˹ÊжõÍпËÆìÔÞ»ÊÏØԺͷÕòÉϺ£ÊÐÊÐϽÇø¼Î¶¨Çø¼ªÁÖÊ¡ËÄƽÊÐÌúÎ÷Çøɽ¶«Ê¡ÔæׯÊÐ̨¶ùׯÇøÉÂÎ÷Ê¡ººÖÐÊÐÎ÷ÏçÏعóÖÝÊ¡Í­ÈÊÊÐÓ¡½­ÍÁ¼Ò×åÃç×å×ÔÖÎÏØÔÆÄÏÊ¡Å­½­ÀüËÛ×å×ÔÖÎÖݸ£¹±ÏØ»³ÈáÇøÑãÆܵØÇøÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇøËÄ´¨Ê¡³É¶¼»á½ðÅ£ÇøºÚÁú½­Ê¡¹þ¶û±õÊаÍÑåÏØÒÁÀç¹þÈø¿Ë×ÔÖÎÖÝÕÑËÕÏؽ­Î÷Ê¡¼ª°²ÊÐÓÀÐÂÏØɽÎ÷Ê¡Ë·ÖÝÊÐɽÒõÏØ˳ÒåÇø¿Õ¸Û½ÖµÀ½­Î÷Ê¡¸ÓÖÝÊÐʯ³ÇÏزýƽÇø»ØÁú¹Û½ÖµÀËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݵ¤°ÍÏØɽÎ÷Ê¡½ú¶¼»áÔóÖÝÏØ

½ñÈÕÐÐÒµ±¨¸æÅû¶Ñо¿Ð§¹ûMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦
£¬£¬£¬£¬ºÜÐË·ÜΪÄú½â´ðÕâ¸öÎÊÌâ
£¬£¬£¬£¬ÈÃÎÒÀ´°ïÄúÏêϸ˵Ã÷Ò»ÏÂ:ÊÛºó·þÎñάÐÞÖÐÐĵ绰
£¬£¬£¬£¬Ö§³Ö¶àÇþµÀ·þÎñ

ÌìÏ·þÎñÇøÓò£ºº£ÄÏÊ¡º£¿£¿£¿ÚÊÐÃÀÀ¼ÇøÂí°°É½Êв©ÍûÇøɽ¶«Ê¡Ì©°²ÊÐ̩ɽÇø½­Î÷Ê¡ÒË´ºÊÐÒË·áÏØÐÂÀÖÊÐЭÉñÏç¹ȪÇø°×¹ȪÏçÔÆÄÏÊ¡ºìºÓ¹þÄá×åÒÍ×å×ÔÖÎÖÝÂÌ´ºÏØÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇø½­Î÷ʡӥ̶ÊÐÓ཭Çø°ÙÉ«ÊÐÌïÁÖÏعóÖÝÊ¡Ç­Äϲ¼ÒÀ×åÃç×å×ÔÖÎÖÝ»ÝË®ÏØ¿¦Ê²µØÇøÂó¸ÇÌáÏØɽ¶«Ê¡ÁĶ¼»á¹ÚÏØ˳ÒåÇø¿Õ¸Û½ÖµÀɽÎ÷Ê¡ÑôȪÊÐƽ¶¨Ïؼ»ÖÝÇø¶«Ê©¹ÅÕòÎ÷ÇàÇø¾«ÎäÕòËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏØƽ¶¥É½ÊÐÕ¿ºÓÇøÒÁÀç¹þÈø¿Ë×ÔÖÎÖÝÕÑËÕÏØɽ¶«Ê¡Ì©°²Êж«Æ½ÏظÊËàʡ¤ÄÏÊÐÃÜÔÆÇøºÓÄÏÕ¯ÕòÃÅÍ·¹µÇø´óÓø½ÖµÀ±¦ÛæÇøÅ£¼ÒÅÆÕòÎߺþÊÐÄÏÁêÏØÎ÷ÇàÇø¾«ÎäÕòËþ³ÇµØÇøºÍ²¼¿ËÈü¶ûÃɹÅ×ÔÖÎÏعóÖÝÊ¡Ç­¶«ÄÏÃç×嶱×å×ÔÖÎÖÝÌìÖùÏØËÄ´¨Ê¡¹ãÔªÊÐÄÏÑôÊÐÄÚÏçÏغþ±±Ê¡Ð¢¸ÐÊкº´¨Êн­ËÕÊ¡ËÕÖÝÊÐÏà³ÇÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖݵ¤°ÍÏؽ­ËÕÊ¡ÄÏͨÊÐÆô¶«ÊÐËÄ´¨Ê¡¹ã°²ÊÐÔÀ³ØÏØ¿¦Ê²µØÇøÒ¶³ÇÏØɽÎ÷Ê¡ÑôȪÊÐƽ¶¨ÏØÁÉÄþÊ¡ÁÉÑôÊа×ËþÇøɽÎ÷Ê¡ÐÃÖÝÊж¨ÏåÏØɽ¶«Ê¡µÂÖÝÊÐÆëºÓÏر±º£Êк£³ÇÇø»³ÈáÇøÑãÆܵØÇøËÄ´¨Ê¡¸Ê×βØ×å×ÔÖÎÖÝËÄ´¨Ê¡Ò˱öÊÐçîÏØÔÆÄÏÊ¡Àö½­ÊÐÄþÝõÒÍ×å×ÔÖÎÏØÁÉÄþÊ¡´óÁ¬ÊÐÂÃ˳¿ÚÇø¸£½¨Ê¡ÈýÃ÷ÊÐ÷ÁÐÇøÁÉÄþÊ¡´óÁ¬ÊÐÂÃ˳¿ÚÇø¹ã¶«Ê¡½­ÃÅÊÐÇàÐãÇø·ą́ÇøÓÒ°²ÃŽֵÀɽÎ÷Ê¡³¤ÖÎÊÐÏåÔ«ÏØ»´ÄÏÊдóͨÇø¹ã¶«Ê¡ÔƸ¡ÊÐÐÂÐËÏع㶫ʡ½­ÃÅÊб±º£Êк£³ÇÇø½­Î÷Ê¡ÒË´ºÊзîÐÂÏغÚÁú½­Ê¡¼Ñľ˹ÊÐÌÀÔ­ÏØÔÞ»ÊÏØÎ÷ÁúÃÅÏçºþ±±Ê¡Ò˲ýÊÐÎ÷ÁêÇøËÄ´¨Ê¡³É¶¼»áË«Á÷ÇøÂåÑôÊÐÈêÑôÏØÉÂÎ÷Ê¡ººÖÐÊÐÁô°ÓÏØ·ą́ÇøÍðƽ³ÇµØÇø¼»ÖÝÇø¶«ÕÔ¸÷ׯÕòɽÎ÷Ê¡Ô˶¼»áÏÄÏغþ±±Ê¡Ò˲ýÊÐÒ˶¼»áÁÉÄþÊ¡ÁÉÑôÊа×ËþÇø¸£½¨Ê¡ÆÎÌïÊÐÏÉÓÎÏزýƽÇøÑô·»ÕòËÄ´¨Ê¡¹ãÔªÊо²º£Çø´óÇñׯÕò³ç×óÊг¤°²Çø¹ã°²½ÖµÀºÚÁú½­Ê¡¼¦Î÷Êм¦¹ÚÇøÄÚÃɹŶõ¶û¶à˹ÊжõÍпËÆìËÄ´¨Ê¡³É¶¼»áж¼Çø¸£½¨Ê¡ÄÏƽÊн¨ê±Êн­ËÕÊ¡ÐìÖÝÊзáÏØɽÎ÷Ê¡ÁÙ·ÚÊа²ÔóÏس¤°²Çø¹ã°²½ÖµÀÄÚÃɹÅÐË°²ÃËÎÚÀ¼ºÆÌØÊÐÁÉÄþÊ¡ÌúÁëÊÐÇåºÓÇø·ą́Çø³¤ÐÁµêÕòɽ¶«Ê¡ÇൺÊгÇÑôÇø³ç×óÊÐÎ÷²ØɽÄÏÊвýƽÇøÑÓÊÙÕòɽ¶«Ê¡ÇൺÊгÇÑôÇøºÚÁú½­Ê¡¼Ñľ˹ÊÐÌÀÔ­ÏغÚÁú½­Ê¡Ë绯ÊÐÃ÷Ë®ÏØÄÚÃɹŶõ¶û¶à˹Êпµ°ÍʲÇøËÄ´¨Ê¡Ò˱öÊн­°²ÏؼªÁÖÊ¡³¤´ºÊÐË«ÑôÇøÇå¾²ÇøÄÏÊнֵÀºÏ·ÊÊÐÑþº£ÇøɽÎ÷Ê¡Ô˶¼»áÏÄÏØɽÎ÷Ê¡ÑôȪÊÐƽ¶¨ÏØÇຣʡº£Î÷ÃɹÅ×å²Ø×å×ÔÖÎÖݵÂÁî¹þÊÐ

ÊÛºó·þÎñÉÏÃÅ·þÎñµç»°
£¬£¬£¬£¬ÖÇÄÜ·ÖÅäƱ¾Ý£ºMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦

Ëæ×ÅÊÓƵÌìÍâÐÐÒÕµÄÉú³¤
£¬£¬£¬£¬Ä£×ÓÕýÔÚ´Ó¶ÌÊÓƵƬ¶ÏºÏ³É
£¬£¬£¬£¬ÏòÁ÷ʽ³¤ÊÓƵÌìÉúÑݽø
¡£¡£È»¶ø
£¬£¬£¬£¬½ö½ö×öµ½ÊÓ¾õÉϵıÆÕæÊDz»·óµÄ
¡£¡£Ò»¸ö¹¦Ð§ÍêÕûµÄÊÓƵÌìÏÂÄ£×Ó
£¬£¬£¬£¬±ØÐèÄܹ»ÔÚ³¤Ê±Ðò½»»¥Öмá³ÖÎȹ̵ÄÄÚ²¿×´Ì¬
£¬£¬£¬£¬²¢×ñÕÕÕæʵÌìϵÄÎïÀí¶¨ÂÉÓëÂß¼­¹æÔò
¡£¡£

ΪÁËϵͳ»¯µØÁ¿»¯ºÍÆÀ¹ÀÕâÒ»½¹µãÄÜÁ¦
£¬£¬£¬£¬Ç廪´óѧÓëÌÚѶ΢ÐÅÊÓ¾õÍŶÓÍƳöÁËMBench¡ª¡ª Ò»¸öרÃÅÕë¶ÔÁ÷ʽÊÓƵÌìÉúÄ£×ÓºÍÌìÏÂÄ£×ÓÓ°ÏóÄÜÁ¦µÄÆÀ²â»ù×¼
¡£¡£

ÏîÄ¿Ö÷Ò³£º https://peanutup.github.io/MBench-project/´úÂë¿ÍÕ»£º https://github.com/study-overflow/MBenchÅÅÐаñÁ´½Ó£ºhttps://huggingface.co/spaces/study-overflow/MBench_Leaderboard

Ϊʲô¹Ø×¢ ¡°Ó°ÏóÄÜÁ¦¡±£¿£¿£¿

ËäÈ»ÏÖÓеÄÊÓƵÌìÍâÐÐÒÕÒѾ­¿ÉÒԺϳÉÊÓ¾õÉÏ¿ÉÐŵÄÊÓƵƬ¶Ï
£¬£¬£¬£¬µ«ÔÚ×ßÏò³¤ÊÓƵÌìÉúºÍ¹¦Ð§ÐÔµÄÌìÏÂÄ£Äâʱ
£¬£¬£¬£¬Ò»¸ö¸ùÌìÐÔµÄÌôÕ½ÒÀÈ»±£´æ£ºÄ£×Ó±ØÐèÄܹ»ÖÒʵµØά³ÖÏÖʵÌìϵÄÊÓ¾õÌØÕ÷¡¢ÓïÒå¹æÔò¡¢ÄÚÔÚ¶¯Á¦Ñ§ºÍÎïÀí¼ÍÂÉ
£¬£¬£¬£¬²¢¿É¿¿µØÖ§³Ö³¤Ê±ÐòµÄÕ¹Íû¡¢ÍÆÀíÓë½»»¥
¡£¡£ÈôÊÇȱ·¦ÕâÖÖÄÜÁ¦
£¬£¬£¬£¬Ëæ×ÅÌìÉúʱ¼äµÄÑÓÉì»ò½»»¥µÄÔöÌí
£¬£¬£¬£¬ÊÓƵÍùÍù»á·ºÆðÎïÌåºÍÈËÎïÊÓ¾õÌØÕ÷Í»±ä¡¢³¡¾°½á¹¹±ÀËú»òÒò¹û¹Øϵ¹ýʧµÈÕ÷Ïó
¡£¡£

ÕâÖÖ´Ó ¡°ÊÓ¾õºÏ³É¡± Ïò ¡°ÌìϽ¨Ä£¡± µÄ¿çÔ½
£¬£¬£¬£¬ÊµÖÊÉÏÐèҪģ×Ӿ߱¸ºã¾ÃÓ°ÏóÄÜÁ¦
£¬£¬£¬£¬ÒÔά³ÖÄÚ²¿ÌìÏÂ״̬ÔÚ³¤Ê±ÐòºÍÖØ´ó½»»¥ÖеÄÎȹÌÐÔÓëÒ»ÖÂÐÔ
¡£¡£

È»¶ø
£¬£¬£¬£¬Ä¿½ñµÄÊÓƵÌìÉúÆÀ²â»ù×¼£¨Èç VBench µÈ£©Ö÷Òª×ÅÖØÓÚµ¥´Î¶ÌÊÓƵÌìÉúµÄÊÓ¾õÖÊÁ¿¡¢Ô˶¯Á¬¹áÐÔ»òÎı¾¶ÔÆë
¡£¡£ÕâЩָ±êÄܹ»È¨ºâÌìÉúµÄÊÓƵ ¡°¿´ÆðÀ´Õæ²»Õ桱
£¬£¬£¬£¬È´ºöÂÔÁ˶ÔÌìÏ ¡°³¤ÆÚÊôÐÔ¡± ±£´æÄÜÁ¦µÄÁ¿»¯
¡£¡£ÎªÁËÌî²¹ÕâÒ»¿Õȱ
£¬£¬£¬£¬ÏµÍ³ÐÔµØȨºâÄ£×ÓÄÜ·ñÕæÕý¼Ç×Ų¢Ä£ÄâÎïÀíÌìÏÂ
£¬£¬£¬£¬MBench Ê״ν«ÊÓƵºÍÌìÏÂÄ£×ÓÔÚ³¤Ê±ÐòϵÄÓ°ÏóÄÜÁ¦×÷Ϊ½¹µãÊӲ칤¾ß¾ÙÐÐÁËרÏî»ù×¼²âÊÔ
¡£¡£

MBench ºÍÖ÷Á÷ÊÓƵÌìÏÂÄ£×Ó benchmark µÄ½ÏÁ¿

MBench µÄ¶àά¶È¼Ü¹¹

MBench »ùÓÚ 1040 ¸ö°¸Àý
£¬£¬£¬£¬½«Ó°ÏóÄÜÁ¦½â¹¹ÎªÈý¸ö»¥²¹µÄ½¹µãά¶È
£¬£¬£¬£¬²¢½øÒ»²½Ï¸·ÖΪ 12 ¸ö¿ÉÁ¿»¯µÄ×Óά¶È
£¬£¬£¬£¬º­¸ÇÁË´Ó¾²Ì¬ÊôÐÔµ½¶¯Ì¬Òò¹ûµÄÈ«·½Î»Ó°ÏóÒªÇó£º

MBench µÄÆÀ²âά¶È»®·Ö

ʵÌåÒ»ÖÂÐÔ (Entity Consistency)£º

ʵÌåÒ»ÖÂÐÔ¹Øעģ×Ó±£´æ¸öÌå¼ÓÈëÕß³¤ÆÚÉí·ÝºÍÊôÐÔµÄÄÜÁ¦
¡£¡£°üÀ¨ÎïÌåÒ»ÖÂÐÔ£¨¼¸ºÎ¡¢ÎÆÀí£©ºÍÈËÀàÒ»ÖÂÐÔ£¨Éí·ÝÌØÕ÷¡¢Íâ¹Ûϸ½Ú£©
¡£¡£¼òÆÓÀ´Ëµ
£¬£¬£¬£¬¾ÍÊǵ±Ò»¸öÈË»òÎïÌå±»ÕÚµ²¡¢ÍÑÀë»­ÃæÔÙ»ØÀ´Ê±
£¬£¬£¬£¬ËüµÄÑù×Ó¡¢ÒÂ×Å¡¢ÌØÕ÷ÊÇ·ñ¼á³ÖÎȹÌ
¡£¡£

ÇéÐÎÒ»ÖÂÐÔ (Environment Consistency)£º

ÇéÐÎÒ»ÖÂÐÔȨºâÄ£Äⳡ¾°µÄÎȹÌÐÔ
¡£¡£°üÀ¨¿Õ¼äÒ»ÖÂÐÔ£¨Í¨¹ý¼«Ïß¼¸ºÎºÍÖØͶӰÎó²îȨºâ 3D ½á¹¹£©ºÍäÖȾһÖÂÐÔ£¨¹âÕÕÓëÆø¸ÅµÄÎȹÌÐÔ£©
¡£¡£»£»£»£ÇéÐÎÒ»ÖÂÐÔÄ¥Á·µÄÊÇÄ£×Ó¶Ô 3D ¿Õ¼äÌìϵÄÃ÷È·ÄÜÁ¦ ¡ª¡ª µ±Ïà»úÒƶ¯¡¢ÐýתÔٻص½Ô­Î»Ê±
£¬£¬£¬£¬·¿¼äµÄ½á¹¹¡¢³¡¾°µÄ½á¹¹ÊÇ·ñºÍ֮ǰ¼á³ÖÒ»Ö£»£»£»£»¶øäÖȾһÖÂÐÔȨºâÊÓƵÕûÌåÉϹâÏßµÄÆ«ÏòºÍÕûÌåµÄ»­ÃæÆø¸ÅÊÇ·ñÄܼá³ÖÒ»ÖÂ
¡£¡£

Òò¹ûÒ»ÖÂÐÔ (Causal Consistency)£º

Òò¹ûÒ»ÖÂÐÔȨºâÄ£×ÓÄÜ·ñ¼Ç×ÅÊÂÎñµÄÒò¹ûÂß¼­
£¬£¬£¬£¬·ÖΪ×ÔÑÝ»¯ºÍ½»»¥
¡£¡£ÕâÊÇ×î¸ß¼¶µÄÓ°ÏóÄÜÁ¦£ºÀýÈç
£¬£¬£¬£¬µ±Ò»¸öÎïÌåÕýÔÚ±»´òËé
£¬£¬£¬£¬¶øÏà»úÒÆ¿ªÔÙת»Ø
£¬£¬£¬£¬µØÉÏÓ¦¸Ã±¬·¢ÏìÓ¦µÄËéƬ£»£»£»£»µ±Äãͨ¹ýÎı¾Ö¸ÁîÄ£×ÓÒƶ¯Ò»¸öÎïÌå
£¬£¬£¬£¬Ä£×ÓÓ¦¸Ã׼ȷִÐв¢¼Ç×ÅеÄλÖÃ
£¬£¬£¬£¬×ÝÈ»ÎïÌåÔÚÄ¿½ñµÄ»­ÃæÖÐÒѾ­±äµÃ²»¿É¼û
¡£¡£

Õë¶ÔÌìÉúËæ»úÐÔµÄÆÀ·Ö»úÖÆ£ºTrigger-Conditioned Scoring

ÔÚÆÀ¹ÀÊÓƵģ×ÓµÄÓ°ÏóÄÜÁ¦Ê±
£¬£¬£¬£¬ÍŶӷ¢Ã÷ÁËÒ»¸öÖ÷ÒªµÄ×ÌÈÅÒòËØ£¨confound£©¡ª¡ª Ä£×Ó¶ÔÓ°Ïó´¥·¢ÊÂÎñµÄÏìÓ¦ÄÜÁ¦±£´æ²î±ð
¡£¡£ÀýÈç
£¬£¬£¬£¬¹ØÓÚÎı¾Ìõ¼þÄ£×Ó
£¬£¬£¬£¬ÆäÌìÉúµÄÊÓƵÍùÍùÎÞ·¨ÕæÕý·ºÆðÌáÐÑ´ÊÖÐÒªÇóµÄ¾µÍ·Ô˶¯¡¢ÎïÌåÕÚµ²»ò¶¯Ì¬×ª±ä£»£»£»£»¹ØÓÚÐж¯Çý¶¯µÄÌìÏÂÄ£×Ó
£¬£¬£¬£¬Ò²¿ÉÄܱ£´æÌìÉúµÄÊÓƵÎÞ·¨×¼È·ÏìÓ¦Ïà»úÔ˶¯µÄÕ÷Ïó
¡£¡£Õâµ¼ÖÂÄ£×Ó¿ÉÄÜ»áͨ¹ýÌìÉú¾²Ì¬»òÊؾÉÄÚÈݵķ½Ê½À´±Ü¿ªÌôÕ½
£¬£¬£¬£¬´Ó¶ø»ñµÃÐé¸ßµÄÒ»ÖÂÐÔÆÀ·Ö
¡£¡£

Ϊ´Ë
£¬£¬£¬£¬MBench ÒýÈëÁË´¥·¢Ìõ¼þÆÀ·Ö£¨Trigger-Conditioned Scoring£©»úÖÆ
£¬£¬£¬£¬½«µÃ·Ö²ð½âΪÁ½¸ö²¿·Ö£º

1.´¥·¢ÁýÕÖÂÊ (Trigger Coverage, C_trig)£ºÑé֤ģ×ÓÊÇ·ñÀÖ³ÉÖ´ÐÐÁËÓ°ÏóÌôÕ½ÊÂÎñ£¨ÈçÎïÌå³ö¾µÔÙÈë¾µ£©
¡£¡£

2.Ó°Ïó¿É¿¿¶È (Memory Reliability, S_rel)£º½öÔÚÀֳɴ¥·¢ÌôÕ½µÄÑù±¾ÉÏÅÌËãÒ»ÖÂÐԵ÷Ö
¡£¡£

×îÖÕµÄ M-Score È¡Á½Õߵĵ÷Çå¾²¾ùÊý
£¬£¬£¬£¬Ö¼ÔÚ´¦·Öͨ¹ýÌìÉúÊØ¾É / ¾²Ì¬ÄÚÈÝÀ´¹æ±ÜÒ»ÖÂÐÔÌôÕ½µÄÐÐΪ
£¬£¬£¬£¬½±ÀøÄÇЩ¼ÈÄÜÄ£Ä⶯̬ÌìÏÂÓÖÄܼá³ÖÒ»ÖÂÐÔµÄÄ£×Ó
¡£¡£

¶Ô 14 ¸öÖ÷Á÷ SOTA Ä£×ÓµÄÆÀ²â·¢Ã÷

MBench ¶Ô 8 ¸öÎı¾Çý¶¯Ä£×ÓºÍ 6 ¸öÐж¯Çý¶¯Ä£×Ó¾ÙÐÐÁË´ó¹æÄ£ÆÀ²â
£¬£¬£¬£¬ÆÀ²âЧ¹ûÅú×¢
£¬£¬£¬£¬ÏÖÔÚ²¢²»±£´æ¼òµ¥Ä£×Ó¿ÉÒÔÔÚËùÓÐά¶ÈÉ϶¼ÌåÏÖ¾«²Ê
£¬£¬£¬£¬Ó°ÏóÄÜÁ¦ÈÔÈ»ÊÇÁ÷ʽÊÓƵÌìÉúºÍÌìÏÂÄ£×ÓµÄÆÕ±éÆ¿¾±
¡£¡£

Ä£×Ó·ÖÊýÀ×´ïͼ

ʵÑéÆÀ²âЧ¹û

¶ÔʵÑéЧ¹û¾ÙÐÐÆÊÎö
£¬£¬£¬£¬»¹¿ÉÒÔ»ñµÃÈçÏ·¢Ã÷£º

¿Õ¼äÓëÒò¹ûÄÜÁ¦ÊÇÖ÷Ҫƿ¾±£ºÆÀ²âЧ¹ûÏÔʾ
£¬£¬£¬£¬´ó¶¼Ä£×ÓÔÚ³¤Ê±ÐòÊÓ½Çת»»ÏµĿռ伸ºÎ»¹Ô­
£¬£¬£¬£¬ÒÔ¼°Éæ¼°ÎïÀíÑÝ»¯µÄÒò¹ûÂß¼­¼á³ÖÉϱ£´æÏÔÖøȱÏÝ
£¬£¬£¬£¬ÄÑÒÔÕÒ»ØÏûÊŵÄÊÓͼ»òÑÓÐø»­ÃæÍâµÄÎïÀíÀú³Ì
¡£¡£Ðж¯Çý¶¯Ä£× ¡°Æ«¿Æ¡± Õ÷Ïó£ºÐж¯Ìõ¼þÄ£×ÓËäÈ»ÔÚ¿Õ¼äÎȹÌÐÔÖ¸±êÉÏÌåÏֽϺÃ
£¬£¬£¬£¬µ«±£´æÒ»¸öÆÕ±éµÄʧЧģʽ ¡ª¡ª ¼´ÇãÏòÓÚÌìÉúÌ«¹ý¾²Ì¬µÄ³¡¾°
¡£¡£ÕâÖÖ·½Ê½ËäÈ»¹æ±ÜÁË¿Õ¼äÌ®Ëõ
£¬£¬£¬£¬µ«Ä£×ÓÏÖʵÉÏÎÞ·¨Çý¶¯ÖØ´óµÄÎïÀíÑÝ»¯
¡£¡£ÊÓ¾õ±ÆÕæ¶È²»¼´ÊÇÓ°ÏóÎȹÌÐÔ£ºÊµÑé֤ʵ
£¬£¬£¬£¬Äܹ»ºÏ³É¸ßÖÊÁ¿¡¢¸ß±£Õæ»­ÃæµÄÄ£×Ó
£¬£¬£¬£¬ÔÚ³¤Ê±ÐòÓ°Ïóά¶ÈÉÏ·×Æ綨ռÓÅ
¡£¡£Õâ˵Ã÷´¿´âµÄÊÓ¾õÌìÉúÖ¸±êÎÞ·¨Ìæ»»¶ÔÄ£×ÓÄÚ²¿×´Ì¬³¤ÆÚÐÔµÄרÏîÆÀ¹À
£¬£¬£¬£¬Ö¤ÊµÎú½¨ÉèÓ°ÏóÄÜÁ¦»ù×¼µÄÐëÒªÐÔ
¡£¡£

´ÓÌìÉúµ¥ÕÅͼƬµ½ºÏÒòËØÖÓ¼¶ÊÓƵ
£¬£¬£¬£¬ÊÓƵÌìÍâÐÐÒÕÒѾ­È¡µÃÁËÁîÈËÖõÄ¿µÄÇ°½ø
¡£¡£È»¶ø
£¬£¬£¬£¬ÒªÊµÏÖÄܹ»Ã÷È·¡¢Õ¹Íû²¢¾ÙÐн»»¥µÄÌìÏÂÄ£×Ó
£¬£¬£¬£¬²¢ÈÃÁ÷ʽÊÓƵÌìÉú¼á³Ö³¤Ê±Ò»ÖÂÐÔ
£¬£¬£¬£¬ÎÒÃÇÈÔÓкܳ¤µÄ·Ҫ×ß
¡£¡£¶ø ¡°Ó°Ïó¡±
£¬£¬£¬£¬ÕýÊǹ¹½¨ÕâЩ½¹µãÄÜÁ¦µÄ»ùʯ
¡£¡£MBench Õ¹ÏÖÁËÄ¿½ñÖ÷Á÷Ä£×ÓÔÚÓ°ÏóÄÜÁ¦ÉϵÄÕæʵ½çÏß
£¬£¬£¬£¬Ò²ÎªÎ´À´µÄÑо¿Ö¸Ã÷ÎúÆ«Ïò
¡£¡£

ÏÖÔÚ
£¬£¬£¬£¬MBench ÒÑÖÜÈ«¿ªÔ´
£¬£¬£¬£¬¿ªÔ´ÄÚÈÝ°üÀ¨£ºÍêÕûµÄ 1040 ¸öÆÀ²â°¸ÀýÊý¾Ý¼¯¡¢×Ô¶¯»¯ÆÀ²â´úÂëÓ빤¾ßÁ´¡¢ÊµÊ±¸üеĹûÕæÅÅÐаñ
£¬£¬£¬£¬ÒÔ¼°ÏêϸµÄÊÖÒÕ±¨¸æÓëʵÑéЧ¹û
¡£¡£ÏàÐÅÔÚ MBench µÄÍƶ¯ÏÂ
£¬£¬£¬£¬ÎÒÃÇÖÕ½«Ó­À´Äܹ» ¡°¼Ç×ÅÌìÏ¡¢Ã÷È·ÌìÏ¡¢Õ¹ÍûÌìÏ¡± µÄÏÂÒ»´úÊÓƵÌìÏÂÄ£×Ó
¡£¡£

¿ËÈÕÐÐÒµ±¨¸æ¸üÐÂÖØ´óÏ£ÍûMBench: Ç廪xÌÚѶÁªºÏ½ç˵ÊÓƵÌìÏÂÄ£×ӵĺã¾ÃÓ°ÏóÄÜÁ¦

Ëæ×ÅÊÓƵÌìÍâÐÐÒÕµÄÉú³¤
£¬£¬£¬£¬Ä£×ÓÕýÔÚ´Ó¶ÌÊÓƵƬ¶ÏºÏ³É
£¬£¬£¬£¬ÏòÁ÷ʽ³¤ÊÓƵÌìÉúÑݽø
¡£¡£È»¶ø
£¬£¬£¬£¬½ö½ö×öµ½ÊÓ¾õÉϵıÆÕæÊDz»·óµÄ
¡£¡£Ò»¸ö¹¦Ð§ÍêÕûµÄÊÓƵÌìÏÂÄ£×Ó
£¬£¬£¬£¬±ØÐèÄܹ»ÔÚ³¤Ê±Ðò½»»¥Öмá³ÖÎȹ̵ÄÄÚ²¿×´Ì¬
£¬£¬£¬£¬²¢×ñÕÕÕæʵÌìϵÄÎïÀí¶¨ÂÉÓëÂß¼­¹æÔò
¡£¡£

ΪÁËϵͳ»¯µØÁ¿»¯ºÍÆÀ¹ÀÕâÒ»½¹µãÄÜÁ¦
£¬£¬£¬£¬Ç廪´óѧÓëÌÚѶ΢ÐÅÊÓ¾õÍŶÓÍƳöÁËMBench¡ª¡ª Ò»¸öרÃÅÕë¶ÔÁ÷ʽÊÓƵÌìÉúÄ£×ÓºÍÌìÏÂÄ£×ÓÓ°ÏóÄÜÁ¦µÄÆÀ²â»ù×¼
¡£¡£

ÏîÄ¿Ö÷Ò³£º https://peanutup.github.io/MBench-project/´úÂë¿ÍÕ»£º https://github.com/study-overflow/MBenchÅÅÐаñÁ´½Ó£ºhttps://huggingface.co/spaces/study-overflow/MBench_Leaderboard

Ϊʲô¹Ø×¢ ¡°Ó°ÏóÄÜÁ¦¡±£¿£¿£¿

ËäÈ»ÏÖÓеÄÊÓƵÌìÍâÐÐÒÕÒѾ­¿ÉÒԺϳÉÊÓ¾õÉÏ¿ÉÐŵÄÊÓƵƬ¶Ï
£¬£¬£¬£¬µ«ÔÚ×ßÏò³¤ÊÓƵÌìÉúºÍ¹¦Ð§ÐÔµÄÌìÏÂÄ£Äâʱ
£¬£¬£¬£¬Ò»¸ö¸ùÌìÐÔµÄÌôÕ½ÒÀÈ»±£´æ£ºÄ£×Ó±ØÐèÄܹ»ÖÒʵµØά³ÖÏÖʵÌìϵÄÊÓ¾õÌØÕ÷¡¢ÓïÒå¹æÔò¡¢ÄÚÔÚ¶¯Á¦Ñ§ºÍÎïÀí¼ÍÂÉ
£¬£¬£¬£¬²¢¿É¿¿µØÖ§³Ö³¤Ê±ÐòµÄÕ¹Íû¡¢ÍÆÀíÓë½»»¥
¡£¡£ÈôÊÇȱ·¦ÕâÖÖÄÜÁ¦
£¬£¬£¬£¬Ëæ×ÅÌìÉúʱ¼äµÄÑÓÉì»ò½»»¥µÄÔöÌí
£¬£¬£¬£¬ÊÓƵÍùÍù»á·ºÆðÎïÌåºÍÈËÎïÊÓ¾õÌØÕ÷Í»±ä¡¢³¡¾°½á¹¹±ÀËú»òÒò¹û¹Øϵ¹ýʧµÈÕ÷Ïó
¡£¡£

ÕâÖÖ´Ó ¡°ÊÓ¾õºÏ³É¡± Ïò ¡°ÌìϽ¨Ä£¡± µÄ¿çÔ½
£¬£¬£¬£¬ÊµÖÊÉÏÐèҪģ×Ӿ߱¸ºã¾ÃÓ°ÏóÄÜÁ¦
£¬£¬£¬£¬ÒÔά³ÖÄÚ²¿ÌìÏÂ״̬ÔÚ³¤Ê±ÐòºÍÖØ´ó½»»¥ÖеÄÎȹÌÐÔÓëÒ»ÖÂÐÔ
¡£¡£

È»¶ø
£¬£¬£¬£¬Ä¿½ñµÄÊÓƵÌìÉúÆÀ²â»ù×¼£¨Èç VBench µÈ£©Ö÷Òª×ÅÖØÓÚµ¥´Î¶ÌÊÓƵÌìÉúµÄÊÓ¾õÖÊÁ¿¡¢Ô˶¯Á¬¹áÐÔ»òÎı¾¶ÔÆë
¡£¡£ÕâЩָ±êÄܹ»È¨ºâÌìÉúµÄÊÓƵ ¡°¿´ÆðÀ´Õæ²»Õ桱
£¬£¬£¬£¬È´ºöÂÔÁ˶ÔÌìÏ ¡°³¤ÆÚÊôÐÔ¡± ±£´æÄÜÁ¦µÄÁ¿»¯
¡£¡£ÎªÁËÌî²¹ÕâÒ»¿Õȱ
£¬£¬£¬£¬ÏµÍ³ÐÔµØȨºâÄ£×ÓÄÜ·ñÕæÕý¼Ç×Ų¢Ä£ÄâÎïÀíÌìÏÂ
£¬£¬£¬£¬MBench Ê״ν«ÊÓƵºÍÌìÏÂÄ£×ÓÔÚ³¤Ê±ÐòϵÄÓ°ÏóÄÜÁ¦×÷Ϊ½¹µãÊӲ칤¾ß¾ÙÐÐÁËרÏî»ù×¼²âÊÔ
¡£¡£

MBench ºÍÖ÷Á÷ÊÓƵÌìÏÂÄ£×Ó benchmark µÄ½ÏÁ¿

MBench µÄ¶àά¶È¼Ü¹¹

MBench »ùÓÚ 1040 ¸ö°¸Àý
£¬£¬£¬£¬½«Ó°ÏóÄÜÁ¦½â¹¹ÎªÈý¸ö»¥²¹µÄ½¹µãά¶È
£¬£¬£¬£¬²¢½øÒ»²½Ï¸·ÖΪ 12 ¸ö¿ÉÁ¿»¯µÄ×Óά¶È
£¬£¬£¬£¬º­¸ÇÁË´Ó¾²Ì¬ÊôÐÔµ½¶¯Ì¬Òò¹ûµÄÈ«·½Î»Ó°ÏóÒªÇó£º

MBench µÄÆÀ²âά¶È»®·Ö

ʵÌåÒ»ÖÂÐÔ (Entity Consistency)£º

ʵÌåÒ»ÖÂÐÔ¹Øעģ×Ó±£´æ¸öÌå¼ÓÈëÕß³¤ÆÚÉí·ÝºÍÊôÐÔµÄÄÜÁ¦
¡£¡£°üÀ¨ÎïÌåÒ»ÖÂÐÔ£¨¼¸ºÎ¡¢ÎÆÀí£©ºÍÈËÀàÒ»ÖÂÐÔ£¨Éí·ÝÌØÕ÷¡¢Íâ¹Ûϸ½Ú£©
¡£¡£¼òÆÓÀ´Ëµ
£¬£¬£¬£¬¾ÍÊǵ±Ò»¸öÈË»òÎïÌå±»ÕÚµ²¡¢ÍÑÀë»­ÃæÔÙ»ØÀ´Ê±
£¬£¬£¬£¬ËüµÄÑù×Ó¡¢ÒÂ×Å¡¢ÌØÕ÷ÊÇ·ñ¼á³ÖÎȹÌ
¡£¡£

ÇéÐÎÒ»ÖÂÐÔ (Environment Consistency)£º

ÇéÐÎÒ»ÖÂÐÔȨºâÄ£Äⳡ¾°µÄÎȹÌÐÔ
¡£¡£°üÀ¨¿Õ¼äÒ»ÖÂÐÔ£¨Í¨¹ý¼«Ïß¼¸ºÎºÍÖØͶӰÎó²îȨºâ 3D ½á¹¹£©ºÍäÖȾһÖÂÐÔ£¨¹âÕÕÓëÆø¸ÅµÄÎȹÌÐÔ£©
¡£¡£»£»£»£ÇéÐÎÒ»ÖÂÐÔÄ¥Á·µÄÊÇÄ£×Ó¶Ô 3D ¿Õ¼äÌìϵÄÃ÷È·ÄÜÁ¦ ¡ª¡ª µ±Ïà»úÒƶ¯¡¢ÐýתÔٻص½Ô­Î»Ê±
£¬£¬£¬£¬·¿¼äµÄ½á¹¹¡¢³¡¾°µÄ½á¹¹ÊÇ·ñºÍ֮ǰ¼á³ÖÒ»Ö£»£»£»£»¶øäÖȾһÖÂÐÔȨºâÊÓƵÕûÌåÉϹâÏßµÄÆ«ÏòºÍÕûÌåµÄ»­ÃæÆø¸ÅÊÇ·ñÄܼá³ÖÒ»ÖÂ
¡£¡£

Òò¹ûÒ»ÖÂÐÔ (Causal Consistency)£º

Òò¹ûÒ»ÖÂÐÔȨºâÄ£×ÓÄÜ·ñ¼Ç×ÅÊÂÎñµÄÒò¹ûÂß¼­
£¬£¬£¬£¬·ÖΪ×ÔÑÝ»¯ºÍ½»»¥
¡£¡£ÕâÊÇ×î¸ß¼¶µÄÓ°ÏóÄÜÁ¦£ºÀýÈç
£¬£¬£¬£¬µ±Ò»¸öÎïÌåÕýÔÚ±»´òËé
£¬£¬£¬£¬¶øÏà»úÒÆ¿ªÔÙת»Ø
£¬£¬£¬£¬µØÉÏÓ¦¸Ã±¬·¢ÏìÓ¦µÄËéƬ£»£»£»£»µ±Äãͨ¹ýÎı¾Ö¸ÁîÄ£×ÓÒƶ¯Ò»¸öÎïÌå
£¬£¬£¬£¬Ä£×ÓÓ¦¸Ã׼ȷִÐв¢¼Ç×ÅеÄλÖÃ
£¬£¬£¬£¬×ÝÈ»ÎïÌåÔÚÄ¿½ñµÄ»­ÃæÖÐÒѾ­±äµÃ²»¿É¼û
¡£¡£

Õë¶ÔÌìÉúËæ»úÐÔµÄÆÀ·Ö»úÖÆ£ºTrigger-Conditioned Scoring

ÔÚÆÀ¹ÀÊÓƵģ×ÓµÄÓ°ÏóÄÜÁ¦Ê±
£¬£¬£¬£¬ÍŶӷ¢Ã÷ÁËÒ»¸öÖ÷ÒªµÄ×ÌÈÅÒòËØ£¨confound£©¡ª¡ª Ä£×Ó¶ÔÓ°Ïó´¥·¢ÊÂÎñµÄÏìÓ¦ÄÜÁ¦±£´æ²î±ð
¡£¡£ÀýÈç
£¬£¬£¬£¬¹ØÓÚÎı¾Ìõ¼þÄ£×Ó
£¬£¬£¬£¬ÆäÌìÉúµÄÊÓƵÍùÍùÎÞ·¨ÕæÕý·ºÆðÌáÐÑ´ÊÖÐÒªÇóµÄ¾µÍ·Ô˶¯¡¢ÎïÌåÕÚµ²»ò¶¯Ì¬×ª±ä£»£»£»£»¹ØÓÚÐж¯Çý¶¯µÄÌìÏÂÄ£×Ó
£¬£¬£¬£¬Ò²¿ÉÄܱ£´æÌìÉúµÄÊÓƵÎÞ·¨×¼È·ÏìÓ¦Ïà»úÔ˶¯µÄÕ÷Ïó
¡£¡£Õâµ¼ÖÂÄ£×Ó¿ÉÄÜ»áͨ¹ýÌìÉú¾²Ì¬»òÊؾÉÄÚÈݵķ½Ê½À´±Ü¿ªÌôÕ½
£¬£¬£¬£¬´Ó¶ø»ñµÃÐé¸ßµÄÒ»ÖÂÐÔÆÀ·Ö
¡£¡£

Ϊ´Ë
£¬£¬£¬£¬MBench ÒýÈëÁË´¥·¢Ìõ¼þÆÀ·Ö£¨Trigger-Conditioned Scoring£©»úÖÆ
£¬£¬£¬£¬½«µÃ·Ö²ð½âΪÁ½¸ö²¿·Ö£º

1.´¥·¢ÁýÕÖÂÊ (Trigger Coverage, C_trig)£ºÑé֤ģ×ÓÊÇ·ñÀÖ³ÉÖ´ÐÐÁËÓ°ÏóÌôÕ½ÊÂÎñ£¨ÈçÎïÌå³ö¾µÔÙÈë¾µ£©
¡£¡£

2.Ó°Ïó¿É¿¿¶È (Memory Reliability, S_rel)£º½öÔÚÀֳɴ¥·¢ÌôÕ½µÄÑù±¾ÉÏÅÌËãÒ»ÖÂÐԵ÷Ö
¡£¡£

×îÖÕµÄ M-Score È¡Á½Õߵĵ÷Çå¾²¾ùÊý
£¬£¬£¬£¬Ö¼ÔÚ´¦·Öͨ¹ýÌìÉúÊØ¾É / ¾²Ì¬ÄÚÈÝÀ´¹æ±ÜÒ»ÖÂÐÔÌôÕ½µÄÐÐΪ
£¬£¬£¬£¬½±ÀøÄÇЩ¼ÈÄÜÄ£Ä⶯̬ÌìÏÂÓÖÄܼá³ÖÒ»ÖÂÐÔµÄÄ£×Ó
¡£¡£

¶Ô 14 ¸öÖ÷Á÷ SOTA Ä£×ÓµÄÆÀ²â·¢Ã÷

MBench ¶Ô 8 ¸öÎı¾Çý¶¯Ä£×ÓºÍ 6 ¸öÐж¯Çý¶¯Ä£×Ó¾ÙÐÐÁË´ó¹æÄ£ÆÀ²â
£¬£¬£¬£¬ÆÀ²âЧ¹ûÅú×¢
£¬£¬£¬£¬ÏÖÔÚ²¢²»±£´æ¼òµ¥Ä£×Ó¿ÉÒÔÔÚËùÓÐά¶ÈÉ϶¼ÌåÏÖ¾«²Ê
£¬£¬£¬£¬Ó°ÏóÄÜÁ¦ÈÔÈ»ÊÇÁ÷ʽÊÓƵÌìÉúºÍÌìÏÂÄ£×ÓµÄÆÕ±éÆ¿¾±
¡£¡£

Ä£×Ó·ÖÊýÀ×´ïͼ

ʵÑéÆÀ²âЧ¹û

¶ÔʵÑéЧ¹û¾ÙÐÐÆÊÎö
£¬£¬£¬£¬»¹¿ÉÒÔ»ñµÃÈçÏ·¢Ã÷£º

¿Õ¼äÓëÒò¹ûÄÜÁ¦ÊÇÖ÷Ҫƿ¾±£ºÆÀ²âЧ¹ûÏÔʾ
£¬£¬£¬£¬´ó¶¼Ä£×ÓÔÚ³¤Ê±ÐòÊÓ½Çת»»ÏµĿռ伸ºÎ»¹Ô­
£¬£¬£¬£¬ÒÔ¼°Éæ¼°ÎïÀíÑÝ»¯µÄÒò¹ûÂß¼­¼á³ÖÉϱ£´æÏÔÖøȱÏÝ
£¬£¬£¬£¬ÄÑÒÔÕÒ»ØÏûÊŵÄÊÓͼ»òÑÓÐø»­ÃæÍâµÄÎïÀíÀú³Ì
¡£¡£Ðж¯Çý¶¯Ä£× ¡°Æ«¿Æ¡± Õ÷Ïó£ºÐж¯Ìõ¼þÄ£×ÓËäÈ»ÔÚ¿Õ¼äÎȹÌÐÔÖ¸±êÉÏÌåÏֽϺÃ
£¬£¬£¬£¬µ«±£´æÒ»¸öÆÕ±éµÄʧЧģʽ ¡ª¡ª ¼´ÇãÏòÓÚÌìÉúÌ«¹ý¾²Ì¬µÄ³¡¾°
¡£¡£ÕâÖÖ·½Ê½ËäÈ»¹æ±ÜÁË¿Õ¼äÌ®Ëõ
£¬£¬£¬£¬µ«Ä£×ÓÏÖʵÉÏÎÞ·¨Çý¶¯ÖØ´óµÄÎïÀíÑÝ»¯
¡£¡£ÊÓ¾õ±ÆÕæ¶È²»¼´ÊÇÓ°ÏóÎȹÌÐÔ£ºÊµÑé֤ʵ
£¬£¬£¬£¬Äܹ»ºÏ³É¸ßÖÊÁ¿¡¢¸ß±£Õæ»­ÃæµÄÄ£×Ó
£¬£¬£¬£¬ÔÚ³¤Ê±ÐòÓ°Ïóά¶ÈÉÏ·×Æ綨ռÓÅ
¡£¡£Õâ˵Ã÷´¿´âµÄÊÓ¾õÌìÉúÖ¸±êÎÞ·¨Ìæ»»¶ÔÄ£×ÓÄÚ²¿×´Ì¬³¤ÆÚÐÔµÄרÏîÆÀ¹À
£¬£¬£¬£¬Ö¤ÊµÎú½¨ÉèÓ°ÏóÄÜÁ¦»ù×¼µÄÐëÒªÐÔ
¡£¡£

´ÓÌìÉúµ¥ÕÅͼƬµ½ºÏÒòËØÖÓ¼¶ÊÓƵ
£¬£¬£¬£¬ÊÓƵÌìÍâÐÐÒÕÒѾ­È¡µÃÁËÁîÈËÖõÄ¿µÄÇ°½ø
¡£¡£È»¶ø
£¬£¬£¬£¬ÒªÊµÏÖÄܹ»Ã÷È·¡¢Õ¹Íû²¢¾ÙÐн»»¥µÄÌìÏÂÄ£×Ó
£¬£¬£¬£¬²¢ÈÃÁ÷ʽÊÓƵÌìÉú¼á³Ö³¤Ê±Ò»ÖÂÐÔ
£¬£¬£¬£¬ÎÒÃÇÈÔÓкܳ¤µÄ·Ҫ×ß
¡£¡£¶ø ¡°Ó°Ïó¡±
£¬£¬£¬£¬ÕýÊǹ¹½¨ÕâЩ½¹µãÄÜÁ¦µÄ»ùʯ
¡£¡£MBench Õ¹ÏÖÁËÄ¿½ñÖ÷Á÷Ä£×ÓÔÚÓ°ÏóÄÜÁ¦ÉϵÄÕæʵ½çÏß
£¬£¬£¬£¬Ò²ÎªÎ´À´µÄÑо¿Ö¸Ã÷ÎúÆ«Ïò
¡£¡£

ÏÖÔÚ
£¬£¬£¬£¬MBench ÒÑÖÜÈ«¿ªÔ´
£¬£¬£¬£¬¿ªÔ´ÄÚÈÝ°üÀ¨£ºÍêÕûµÄ 1040 ¸öÆÀ²â°¸ÀýÊý¾Ý¼¯¡¢×Ô¶¯»¯ÆÀ²â´úÂëÓ빤¾ßÁ´¡¢ÊµÊ±¸üеĹûÕæÅÅÐаñ
£¬£¬£¬£¬ÒÔ¼°ÏêϸµÄÊÖÒÕ±¨¸æÓëʵÑéЧ¹û
¡£¡£ÏàÐÅÔÚ MBench µÄÍƶ¯ÏÂ
£¬£¬£¬£¬ÎÒÃÇÖÕ½«Ó­À´Äܹ» ¡°¼Ç×ÅÌìÏ¡¢Ã÷È·ÌìÏ¡¢Õ¹ÍûÌìÏ¡± µÄÏÂÒ»´úÊÓƵÌìÏÂÄ£×Ó
¡£¡£

ÃÀ¹ú¡°ÇÀ¡±Í­
£¬£¬£¬£¬ÈÅÂÒÈ«Çò¹©Ó¦Á´ÖÈÐò

¿­Ê±AG

CÂÞÐÂÔìÐÍÁÁÏà