python处理中文编码的问题

发布时间:2020-07-13编辑:脚本学堂
在使用Python的CGI模块时,遇到中文字符不能正确显示的问题。这里提供下网上搜集到的解决方法,供大家参考。

在使用python的CGI模块时,遇到中文字符不能正确显示的问题。
这里提供下网上搜集到的解决方法,供大家参考。
 
页面源代码:
 

复制代码 代码如下:
#-*- coding: utf8 -*-
import cgitb , cgi
cgitb.enable()
form = cgi.FieldStorage()
if (form.has_key("name") and form.has_key("addr")):
    print "<p>name:", form["name"].value
    print "<p>addr:", form["addr"].value
 

[这里仅仅测试addr参数为中文]接收Ascii字符时运行良好,但是接收中文字符时显示乱码,浏览器切换到GB2312编码时,可以正常显示,但是个人要求它成为UTF-8编码显示
 改成 print "<p>addr:", form["addr"].value.encode('utf-8')  就报如下错误:
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data
 
Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化。
编码是 unicode -> str,相反的,解码就 是 str -> unicode。
剩下的问题就是确定何时需要进行编码或者解码了.关于文件开头的"编码指示",
也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 UTF-8 编码的,
当文件中有非 UTF-8 编码范围内的字符的时候就要使用"编码指示"来修正.
关于 sys.defaultencoding,这个在解码没有明确指明解码方式的时候使用。
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文'  # 注意这里的 str 是 str 类型的,而不是 unicode
s.encode('gb18030')
这句代码将 s 重新编码为 gb18030 的格式,即进行 unicode -> str 的转换。
因为 s 本身就是 str 类型的,因此 Python 会自动的先将 s 解码为 unicode ,
然后再编码成 gb18030。因为解码是python自动进行的,我们没有指明解码方式,
python 就会使用 sys.defaultencoding 指明的方式来解码。
很多情况下 sys.defaultencoding 是 ANSCII,如果 s 不是这个类型就会出错。
拿上面的情况来说,我的 sys.defaultencoding 是 anscii,
而 s 的编码方式和文件的编码方式一致,是 utf8 的,所以出错了:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position
0: ordinal not in range(128)

对于这种情况,我们有两种方法来改正错误:
一、明确的指示出 s 的编码方式
 

复制代码 代码如下:
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文'
s.decode('utf-8').encode('gb18030')

二、更改 sys.defaultencoding 为文件的编码方式
 

复制代码 代码如下:
#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法,我们需要重新载入
sys.setdefaultencoding('utf-8')
str = '中文'
str.encode('gb18030')
 

看完之后,改成这样
print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8')
成功通过。

总结为何这样写的原因:
1. 当取回来的数据与你当前脚本中声明的编码不一致时就要做编码转换
2.在编码转换时首先要将该数据以自身编码的格式换成unicode码,再将这个unicode按utf8编码
3.为什么我的浏览器会传回gb2312的编码数据到服务器,这应该和客户端的系统编码有关系

附:python操作mysql以及中文乱码的问题
下面几个措施,保证MySQL的输出没有乱码:
1 Python文件设置编码 utf-8 (文件前面加上 #encoding=utf-8)
2 mysql数据库charset=utf-8
3 Python连接MySQL是加上参数 charset=utf8
4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)
 

复制代码 代码如下:
#encoding=utf-8
import sys 
import MySQLdb 
 
reload(sys) 
sys.setdefaultencoding('utf-8') 
 
db=MySQLdb.connect(user='root',charset='utf8') 
cur=db.cursor() 
cur.execute('use mydb') 
cur.execute('select * from mytb limit 100') 
 
f=file("/home/user/work/tem.txt",'w') 
 
for i in cur.fetchall(): 
    f.write(str(i)) 
    f.write(" ") 
 
f.close() 
cur.close()
#encoding=utf-8
import sys
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
db=MySQLdb.connect(user='root',charset='utf8')
cur=db.cursor()
cur.execute('use mydb')
cur.execute('select * from mytb limit 100')
f=file("/home/user/work/tem.txt",'w')
for i in cur.fetchall():
    f.write(str(i))
    f.write(" ")
f.close()
cur.close()

您可能感兴趣的文章:

python解析网页字符编码的小例子
python配置文件中文转换Unicode编码的方法
python编码时应该注意的几个问题
有关python中读写文件及中文编码的处理方法