モデル圧縮

論文要約

SliceFine: 効率的AI学習の 新仮説を徹底解説

紹介論文今回紹介する論文はSliceFine: The Universal Winning-Slice Hypothesis for Pretrained Networksという論文です。 この論文を一言でまとめるとSliceFine論文を...
論文要約

Fair-GPTQで大規模言語モデルを軽量化&公平に!

紹介論文今回紹介する論文はFair-GPTQ: Bias-Aware Quantization for Large Language Modelsという論文です。 この論文を一言でまとめるとFair-GPTQは、大規模言語モデルのサイズを削...
論文要約

複数教師CoT蒸留「MoT」徹底解説!性能爆上げの秘訣

紹介論文今回紹介する論文はMerge-of-Thought Distillationという論文です。 この論文を一言でまとめると本記事では、複数教師からの知識を効率的に統合する新しい蒸留手法「Merge-of-Thought Distill...