Token Drift

紹介論文今回紹介する論文はTokDrift: When LLM Speaks in Subwords but Code Speaks in Grammarという論文です。 この論文を一言でまとめるとコードLLMは統計的トークン化の弱点により...