用Python的处理xml时的字符编码问题

为了简化问题，就把xml的内容简化为如下的形式:

<code><document>/<document>
/<code>

它的encoding为gbk，其中的节点有一个为中文字符使用lxml提取节点的值时出现了如下的异常

<code>lxml.etree.XMLSyntaxError: Extra content at the end of the document
/<code>

此时对应的Python脚本为：

<code>tst = u'<document>/<document>'
for event,element in etree.iterparse(BytesIO(tst.encode('utf-8'))):
    print("%s, %s" % (element.tag, element.text))
/<code>

不过简化之前，报的是另外一个异常

<code>lxml.etree.XMLSyntaxError: input conversion failed due to input error, bytes 0x8B 0x2C 0xE6 0x9D
/<code>

不论异常是哪一个，猜测还是和字符的编码形式有关。经过各种尝试无果，后来在stackoverflow上看到这篇文章，文中提到的问题和xml中的encoding值有关，尝试了增加了一段代码

<code>tst = u'<document>/<document>'
tst = tst.replace('encoding="gbk"', 'encoding="utf-8"')
for event,element in etree.iterparse(BytesIO(tst.encode('utf-8'))):
    print("%s, %s" % (element.tag, element.text))
/<code>

增加了一个替换的语句，将之前的encoding="gbk"替换成encoding:"utf-8"于是终于得到了结果：

<code>da, 中文，就是任性
DOCUMENT, None/<code>

閱讀更多 蘇了麼 的文章

關鍵字: Python 字符 XML