論文要約 GPT-5超え!? GADでLLMを黒魔術蒸留!
紹介論文今回紹介する論文はBlack-Box On-Policy Distillation of Large Language Modelsという論文です。 この論文を一言でまとめるとブラックボックス蒸留GADで、GPT-5級のLLMを自作...
知識蒸留
論文要約 
論文要約 GRACEで解決！知識蒸留における教師モデル選択の最適解
紹介論文今回紹介する論文はIn Good GRACEs: Principled Teacher Selection for Knowledge Distillationという論文です。 この論文を一言でまとめると知識蒸留で重要な教師モデルの...
論文要約 少量データでLLMを賢く！対照的な説明蒸留
紹介論文今回紹介する論文はFew-Shot Knowledge Distillation of LLMs With Counterfactual Explanationsという論文です。 この論文を一言でまとめると大規模言語モデル(LLM)...
論文要約 複数教師CoT蒸留「MoT」徹底解説！性能爆上げの秘訣
紹介論文今回紹介する論文はMerge-of-Thought Distillationという論文です。 この論文を一言でまとめると本記事では、複数教師からの知識を効率的に統合する新しい蒸留手法「Merge-of-Thought Distill...
論文要約 LLMのバックドア対策：Letheによる知識希釈
紹介論文今回紹介する論文はLethe: Purifying Backdoored Large Language Models with Knowledge Dilutionという論文です。 この論文を一言でまとめるとLetheは、大規模言語...
論文要約 LLMのPosition Biasを克服する：知識蒸留Pos2Distill
紹介論文今回紹介する論文はPosition Bias Mitigates Position Bias:Mitigate Position Bias Through Inter-Position Knowledge Distillationと...
論文要約 GenRecal：異種VLMの知識蒸留による性能向上
紹介論文今回紹介する論文はGenRecal: Generation after Recalibration from Large to Small Vision-Language Modelsという論文です。 この論文を一言でまとめるとGe...