RecodeX 重构消息,开源命令行工具ttok发布0.4版本。该工具基于OpenAI开源的分词库tiktoken,用于统计文本的token数量。此次更新修复了一个Click警告,更新了持续集成配置,并新增–list-models命令,可列出当前可用的模型。ttok支持通过uvx直接运行,例如使用cat file.txt | uvx ttok即可统计文件token数。