0x00 理解 tokenizer.json 中没有中文

1
from transformers import AutoTokenizer
2

3
# 加载分词器
4
tokenizer = AutoTokenizer.from_pretrained("./model/minimind_tokenizer")
5

6
# 测试文本
7
text = "这是一个测试，看看分词器是否能正确处理中文。"
8

9
# 编码：将文本转换为 token IDs
10
encoded_ids = tokenizer.encode(text)
11
print("编码结果 (Token IDs):", encoded_ids)
12

13
# 解码：将 token IDs 转换回文本
14
decoded_text = tokenizer.decode(encoded_ids)
15
print("解码结果 (文本):", decoded_text)
16

17
decoded_text = tokenizer.decode([434])
18
print("解码结果 (文本):", decoded_text)
19

20
decoded_text = tokenizer.decode([1589])
21
print("解码结果 (文本):", decoded_text)
22

23
# 如果需要查看具体的 tokens（子词单元）
24
tokens = tokenizer.tokenize(text)
25
print("分词结果 (Tokens):", tokens)

1
def bytes_to_unicode():
2
    """
3
    生成字节到 Unicode 字符的正向映射表
4
    返回字典：{byte_value: unicode_char}
5
    """
6
    # 原始保留的字节范围
7
    bs = (
8
        list(range(ord("!"), ord("~") + 1)) +     # ASCII 可打印字符（33-126）
9
        list(range(ord("¡"), ord("¬") + 1)) +     # 西班牙语特殊字符（161-172）
10
        list(range(ord("®"), ord("ÿ") + 1))       # 其他扩展字符（174-255）
11
    )
12

13
    cs = bs.copy()  # 初始字符列表
14
    n = 0
15

16
    # 遍历所有可能的字节（0-255）
17
    for b in range(2**8):
18
        if b not in bs:
19
            bs.append(b)
20
            cs.append(2**8 + n)  # 超出原始范围的字节映射到更高 Unicode 码位
21
            n += 1
22

23
    # 将码位转换为 Unicode 字符
24
    cs = [chr(code) for code in cs]
25

26
    return dict(zip(bs, cs))
27

28
def get_reverse_mapping(forward_map):
29
    """
30
    根据正向映射生成反向映射
31
    返回字典：{unicode_char: byte_value}
32
    """
33
    return {v: k for k, v in forward_map.items()}
34

35
# 生成映射表
36
forward_map = bytes_to_unicode()
37
reverse_map = get_reverse_mapping(forward_map)

1
from transformers import AutoTokenizer
2

3
def bytes_to_unicode_str(byte_sequence):
4
    return ''.join([forward_map[b] for b in byte_sequence])
5

6
def unicode_str_to_bytes(unicode_str):
7
    return bytes([reverse_map[c] for c in unicode_str])
8

9
# (缩减后的) 映射生成代码
10
def b():
11
    bs = list(range(33, 127)) + list(range(161, 173)) + list(range(174, 256))
12
    cs = bs.copy()
13
    n = 0
14
    for b_val in range(256):
15
        if b_val not in bs:
16
            bs.append(b_val)
17
            cs.append(256 + n)
18
            n += 1
19
    return dict(zip(bs, [chr(c) for c in cs]))
20

21
def g(f):
22
    return {v: k for k, v in f.items()}
23

24
forward_map = b()
25
reverse_map = g(forward_map)
26

27
# 加载 Qwen tokenizer
28
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B")
29

30
# 示例文本
31
text = "你好世界"
32

33
# 步骤1：原始文本 -> UTF-8 字节
34
bytes_data = text.encode('utf-8')
35

36
# 步骤2：字节 -> Unicode 字符串
37
unicode_str = bytes_to_unicode_str(bytes_data)
38

39
# 步骤3：Unicode 字符串 -> tokenizer 编码
40
input_ids = tokenizer(unicode_str, return_tensors="pt")["input_ids"]
41

42
# 步骤4：解码过程
43
decoded_unicode = tokenizer.decode(input_ids[0])
44
recovered_bytes = unicode_str_to_bytes(decoded_unicode)
45
recovered_text = recovered_bytes.decode('utf-8')
46

47
print(f"原始文本：{text}")
48
print(f"乱码表示：{unicode_str}")
49
print(f"解码后的文本：{recovered_text}")
50
# 输出：
51
# 原始文本：你好世界
52
# 乱码表示：ä½łå¥½ä¸ĸçķĮ
53
# 解码后的文本：你好世界

1
from transformers import AutoTokenizer
2
import re
3

4
tokenizer = AutoTokenizer.from_pretrained("./model/minimind_tokenizer")
5
vocab = tokenizer.get_vocab()
6
total_tokens = len(vocab)
7

8
chinese_tokens = 0
9
english_tokens = 0
10
non_chinese_or_english_tokens = 0
11

12
def is_chinese(text):
13
    return all('\u4e00' <= char <= '\u9fff' for char in text)
14

15
def is_english(text):
16
    return all(re.match(r"[a-zA-Z]", char) for char in text)
17

18
for token_id in range(total_tokens):
19
    token = tokenizer.decode([token_id])
20
    if is_chinese(token):
21
        chinese_tokens += 1
22
    elif is_english(token):
23
        english_tokens += 1
24
    else:
25
        non_chinese_or_english_tokens += 1
26

27
chinese_ratio = chinese_tokens / total_tokens * 100
28
english_ratio = english_tokens / total_tokens * 100
29
other_ratio = non_chinese_or_english_tokens / total_tokens * 100
30

31
print(f"词表总大小: {total_tokens}")
32
print(f"中文 token 数量: {chinese_tokens} 占比: {chinese_ratio:.2f}%")
33
print(f"英文 token 数量: {english_tokens} 占比: {english_ratio:.2f}%")
34
print(f"其他 token 数量: {non_chinese_or_english_tokens} 占比: {other_ratio:.2f}%")