論文要約 LLMの”再現性”を測る新指標|スピードランニングベンチマーク解説
紹介論文今回紹介する論文はThe Automated LLM Speedrunning Benchmark: Reproducing NanoGPT Improvementsという論文です。 この論文を一言でまとめるとLLM（大規模言語モデ...
ベンチマーク
論文要約 
論文要約 Mind2Web 2： エージェント検索の 自動評価
紹介論文今回紹介する論文はMind2Web 2: Evaluating Agentic Search with Agent-as-a-Judgeという論文です。 この論文を一言でまとめるとMind2Web 2は、複雑化するエージェント検索シ...
論文要約 skLEP解説：Slovak NLU評価の新たな一手
紹介論文今回紹介する論文はskLEP: A Slovak General Language Understanding Benchmarkという論文です。 この論文を一言でまとめるとskLEPはSlovak言語の自然言語理解(NLU)モデル...
論文要約 HalluSegBench解説：画像認識AIの「幻覚」を徹底評価！
紹介論文今回紹介する論文はHalluSegBench: Counterfactual Visual Reasoning for Segmentation Hallucination Evaluationという論文です。 この論文を一言でまと...
論文要約 DECRYPTO：LLMのToM能力を測る新ベンチマーク
紹介論文今回紹介する論文はThe Decrypto Benchmark for Multi-Agent Reasoning and Theory of Mindという論文です。 この論文を一言でまとめると大規模言語モデルのマルチエージェント...
論文要約 LLMは数学の 創造性を発揮 できるのか？
紹介論文今回紹介する論文はOMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative G...
論文要約 LLMの命令追従能力を徹底解剖！Ordered CommonGenで性能評価
紹介論文今回紹介する論文はRevisiting Compositional Generalization Capability of Large Language Models Considering Instruction Followi...
論文要約 分子の毒性問題にAIはどこまで対応できる？【MLLM創薬】
紹介論文今回紹介する論文はBreaking Bad Molecules: Are MLLMs Ready for Structure-Level Molecular Detoxification?という論文です。 この論文を一言でまとめると...
論文要約 ChineseHarm-Bench：中国語有害コンテンツ検出の新たな一手
紹介論文今回紹介する論文はChineseHarm-Bench: A Chinese Harmful Content Detection Benchmarkという論文です。 この論文を一言でまとめると本記事では、中国語の有害コンテンツ検出にお...