0x02 理解 embedding 层中 padding_idx 的作用
使用 nn.Embedding 层,会涉及到一个位置参数 padding_idx。其官方文档中的描述为:
0x01 理解 tokenizer.json 结构
在自然语言处理里,tokenizer.json 文件一般是由 Hugging Face 的 Tokenizers 库生成的,它是分词器配置的核心文件。这里面的 vocab 和 merges 是子词分词算法(像 BPE 这种)的重要构成要素。