https://blog.hankmo.com/tags/token/ Recent content in Token on 极客老墨 Hugo -- 0.138.0 zh-cn Wed, 06 May 2026 00:00:00 +0000 https://blog.hankmo.com/token-deep-dev-deepseek/ Wed, 06 May 2026 00:00:00 +0000 https://blog.hankmo.com/token-deep-dev-deepseek/ Token 是大模型 API 调用的核心计量单位，直接关联成本、上下文截断和响应质量。本文从 BPE 分词原理出发，拆解 DeepSeek 计费逻辑、Context Window 约束，并用 Go 实现一个对接官方 tokenizer 的精准计数器。