# 将特殊符号的logits值设置为负无穷,防止模型生成这些符号。
for i in ".,[],。()《》【】{}":
out[:, tokenizer.get_vocab()[i]] = -float('inf')
out[:, tokenizer.get_vocab()["[UNK]"]] = -float('inf')
out[:, tokenizer.get_vocab()["[CLS]"]] = -float('inf')
第四期,5-GPT2-中文生成模型定制化(实现篇)中,有遇到特殊字符问题,示例代码似乎无效,
请问怎样才能去除下面的; 和[CLS]?
0 [CLS] 白 首 归 来 夜, 黄 冠 送 送 春 。 里 人 家 法 规, 未 了 先 知 识 。
1 [CLS] 白 眼 逢 人 只, 青 拳 倚 鼻 觑 。 不 堪 看 的 ;, 青 筋 也 应 嫌 。