python如何识别中文生僻字

这篇文章主要介绍了python如何识别中文生僻字，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

问题点

本来考虑用正则来判断中文，因为网上发现正则的匹配中文是[\u4e00-\u9fa5]。接着代码都快写完了，发现有些生僻字不再在这个范围内。

识别方法

在utf-8字符编码下，一个中文字符占3个字节，但字符的长度只有1。

1、分析中文的方法是否可以灵活为len(bytes(str,'utf-8)==3 and len(string)==1。

2、文本写作判断中文后，如果是汉字str.ljust(5)，否则为str.ljust(6)(因为一个汉字占两个字符的长度)。

实例

from pypinyin import pinyinimport re  class ChangePinyin:    def __init__(self, filename):        self.file = filename        self.lyric = self.read_file()        self.pinyin = []     def read_file(self):        with open(self.file, encoding='utf-8') as f:            return f.readlines()     def write_file(self):        with open('New_%s' % self.file, 'w', encoding='utf-8') as f:            print(self.lyric)            for line in self.lyric:                # print(line)                if line.strip() == '':                    continue                _new_line = re.sub(r'\s', '', line)                # 行内容转拼音                _pinyin = ''.join(map(lambda x: x[0].ljust(6), pinyin(_new_line)))                # 根据中英文,将行内容进行字符与汉字的拆分                _lyric = self.split_words(_new_line)                f.write('%s\n%s\n' % (_pinyin, _lyric))     @staticmethod    def split_words(words):        word_list = ""        tmp = ""        for string in words:            if len(bytes(string, 'utf-8')) == 3 and len(string) == 1:                if tmp != '':                    word_list += tmp.ljust(6)                    tmp = ""                word_list += string.ljust(5)            else:                tmp += string        return word_list  if __name__ == '__main__':    Main = ChangePinyin('lyric.txt')    Main.write_file()

感谢你能够认真阅读完这篇文章，希望小编分享的"python如何识别中文生僻字"这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!