知識蒸留

論文要約

複数教師CoT蒸留「MoT」徹底解説!性能爆上げの秘訣

紹介論文今回紹介する論文はMerge-of-Thought Distillationという論文です。 この論文を一言でまとめると本記事では、複数教師からの知識を効率的に統合する新しい蒸留手法「Merge-of-Thought Distill...
論文要約

LLMのバックドア対策:Letheによる知識希釈

紹介論文今回紹介する論文はLethe: Purifying Backdoored Large Language Models with Knowledge Dilutionという論文です。 この論文を一言でまとめるとLetheは、大規模言語...
論文要約

LLMのPosition Biasを克服する:知識蒸留Pos2Distill

紹介論文今回紹介する論文はPosition Bias Mitigates Position Bias:Mitigate Position Bias Through Inter-Position Knowledge Distillationと...
論文要約

GenRecal:異種VLMの知識蒸留による性能向上

紹介論文今回紹介する論文はGenRecal: Generation after Recalibration from Large to Small Vision-Language Modelsという論文です。 この論文を一言でまとめるとGe...