本节内容:
python替换UTF-8编码的特殊字符
问题描述:
大量文本,将其中的特殊字符用空格替换,特殊字符如:◆★,日期[1990-11-23]等。
这些文本的特点:
1,文件名以中文命名
2,经测试,文件编码为UTF-8
例子:
复制代码 代码示例:
#!/usr/bin/env python
#site: www.jb200.com
# -*- coding: utf-8 -*-
import re
import chardet
import os
def dowork(dirname):
txt_filenames = os.listdir(dirname)
#需要替换的字符
正则表达式:◆★[1990-2-30],核心部分
pat = r"(xe2x98x85|xe2x97x86)|([d+-d+-d+])"
repat = re.compile(pat)
i = 0
for filename in txt_filenames:
#选出正确的文件类型
if filename.find('.txt') == -1:
continue
#判断文件本身的类型是不是UTF-8
f = open(filename, 'r')
print 'open ' + filename
line = f.readline()
enc = chardet.detect(line)
#保存文件类型
fileencode = enc['encoding']
print enc
f.close()
#wname是新文件的名称
wname = './src/' + filename.split('.')[0] + str(2) + '.txt'
f = open(wname, 'w')
print 'the file of writing is ', wname
#开始将替换后的字符串写入文件
for line in open(filename, 'r'):
#用空格替换特殊字符
wline = repat.sub(' ', line)
f.write(wline)
f.close()
if __name__ == '__main__':
dirname = r'C:UsershwDesktopqiaofangjieTraditionalCorpus'
dowork(dirname)
问题难点:
1,关于任意字符,如何利用正则表达式替换
2,python的文件编码,搞得我头晕了,现在也不算很明白
心得分享:
1,python源文件默认编码为ascii码,如果里面有中文,在文件头加# -*- coding: utf-8 -*-,就可以写中文了。
2,关于替换:
英文字符找相应的正则表达式即可;中文字符是难点,可以将中文字符的utf-8编码写到模式匹配中,配合正则表达式即可使用。
中文字符的utf-8编码可以用repr表达式输出。
3,文件由于比较大,用readlines读取文件较慢,采用文件迭代器读文件,应该是一次读一行的(还不是很清楚,以后再试试)
4,在自己测试的小例子中,filename="中文文件.txt",直接读会出错,转为unicode编码就可以了,即filename=u"中文文件.txt"
5,用chardet模块,可以判定文件的编码方式。只是我这里没有用到,只是看了一下编码是不是utf-8的
6,关于encode与decode,utf-8可以通过decode转为unicode,如strutf-8.decode('utf-8')返回unicode对象;
unicode通过encode编码为具体的格式如utf-8,gbk等,例如:strunicode.encode('utf-8')