python3 jieba如何自定义词典

在Python3中，使用jieba库可以自定义词典，以便更好地进行中文分词。通过自定义词典，可以提高分词的准确性，特别是当需要处理特定领域的文本时。 自定义词典的主要方法包括加载外部词典、添加新词和调整词的权重。接下来，我们将详细探讨这几种方法，并提供具体的代码示例。

一、加载自定义词典

加载自定义词典是指将一个预先准备好的词典文件导入到jieba中，使其在分词时参考该词典。自定义词典通常是一个文本文件，每行包含一个词和它的词频，格式为“词词频”。

1. 准备词典文件

首先，需要准备一个词典文件。例如，创建一个名为my_dict.txt的文件，内容如下：

自定义词汇1 10 自定义词汇2 20

2. 加载词典

接下来，可以通过jieba.load_userdict函数加载这个词典。以下是具体的代码示例：

import jieba
加载自定义词典
jieba.load_userdict('my_dict.txt')
测试分词效果
test_sentence = "这是一个包含自定义词汇1和自定义词汇2的句子。"
words = jieba.lcut(test_sentence)
print("/".join(words))

在加载了自定义词典后，jieba将会按照词典中的词进行分词，从而提高分词的准确性。

二、动态添加新词

有时候，需要在代码运行时动态地添加新词。jieba提供了add_word方法，可以方便地添加单个词汇。

1. 使用`add_word`方法

以下是使用add_word方法添加新词的示例：

import jieba
动态添加新词
jieba.add_word('动态新词')
测试分词效果
test_sentence = "这是一个包含动态新词的句子。"
words = jieba.lcut(test_sentence)
print("/".join(words))

2. 添加带词频的新词

如果需要指定新词的词频和词性，可以使用jieba.add_word的额外参数：

import jieba
动态添加新词，并指定词频和词性
jieba.add_word('动态新词2', freq=2000, tag='n')
测试分词效果
test_sentence = "这是一个包含动态新词2的句子。"
words = jieba.lcut(test_sentence)
print("/".join(words))

在上述代码中，freq参数用于指定词频，tag参数用于指定词性。

三、调整词的权重

调整词的权重可以通过jieba.suggest_freq方法来实现。这个方法用于调整特定词汇的词频，以影响分词效果。

1. 使用`suggest_freq`方法

以下是使用suggest_freq方法调整词频的示例：

import jieba
测试分词效果前
test_sentence = "这是一个包含特定词汇的句子。"
words = jieba.lcut(test_sentence)
print("调整前：" + "/".join(words))
调整特定词汇的词频
jieba.suggest_freq(('特定', '词汇'), True)
测试分词效果后
words = jieba.lcut(test_sentence)
print("调整后：" + "/".join(words))

在上述代码中，suggest_freq方法的第一个参数是一个包含词汇的元组，第二个参数是一个布尔值，表示是否调整词频。

四、删除词汇

在某些情况下，可能需要删除特定的词汇。jieba提供了del_word方法，可以方便地删除已添加的词汇。

1. 使用`del_word`方法

以下是使用del_word方法删除词汇的示例：

import jieba
动态添加新词
jieba.add_word('待删除词汇')
测试分词效果
test_sentence = "这是一个包含待删除词汇的句子。"
words = jieba.lcut(test_sentence)
print("删除前：" + "/".join(words))
删除词汇
jieba.del_word('待删除词汇')
测试分词效果
words = jieba.lcut(test_sentence)
print("删除后：" + "/".join(words))