0x05 连续手语识别思考
Update Log
0x03 设计游戏框架
0x03 思考科研
可以考虑的几个习惯
0x02 理解 embedding 层中 padding_idx 的作用
使用 nn.Embedding 层,会涉及到一个位置参数 padding_idx。其官方文档中的描述为:
0x01 理解 tokenizer.json 结构
在自然语言处理里,tokenizer.json 文件一般是由 Hugging Face 的 Tokenizers 库生成的,它是分词器配置的核心文件。这里面的 vocab 和 merges 是子词分词算法(像 BPE 这种)的重要构成要素。
0x00 理解 tokenizer.json 中没有中文
在 Qwen3 的 tokenizer.json 中,搜索不到中文,但是模型是支持中文的。
Profile Image of the Author
Firefly
Hello, I'm Firefly.
公告
欢迎来到我的博客!
音乐
封面

音乐

暂未播放

0:00 0:00
暂无歌词
分类
标签
站点统计
文章
6
分类
3
标签
4
总字数
17,732
运行时长
0
最后活动
0 天前

文章目录