通过Python运行原理了解 .pyc

通过Python运行原理了解 .pyc

由于最近一位同学在做分布式计算时,部分模块只把pyc文件拷贝部署至远程计算节点,导致主节点程序更新后,计算节点出现错误异常,于是有了这篇文章...

小栗子

有两个py模块,test.py与import_test.py模块。

通过Python运行原理了解 .pyc

test.py

mport_test.py模块中导入了test模块,如下图

通过Python运行原理了解 .pyc

import_test.py

我们先执行test.py,看下目录,无变化。

通过Python运行原理了解 .pyc

执行test.py后目录

然后再执行import_test.py。

通过Python运行原理了解 .pyc

执行import_test.py后目录

可以发现,在执行import_test.py之后,目录中多了一个test.pyc文件,这是为神马呢。

通过Python运行原理了解 .pyc

Python运行原理

Python运行原理

每一个 .py 文件都会作为Python中的一个模块,如上例子中,包含了test、import_test两个模块,其中import_test作为程序运行的入口(导入了test模块)。

运行import_test.py后,会激活 Python 的解释器,将test模块编译成一个字节码对象 (PyCodeObject)并保存在内存当中(方便CPU读取,提高程序运行效率),接下来由 Python 虚拟机来执行字节码指令。当Python程序运行结束时,Python解释器则将字节码对象持久化至pyc文件中(.pyc 文件是字节码对象在硬盘上的表现形式)。

当此模块程序再次运行时,首先程序会在硬盘中寻找pyc文件,如果找到,则直接将字节码对象加载到内存中,否则就重复上面的过程。

也就是说,我们之所以要把py文件编译成pyc文件,其最大的好处在于我们在重复运行程序时,不需要重新对该模块进行重复的编译。

那么这个字节码对象(PyCodeObject) 有包含什么?

一个字节码对象文件(.pyc)包含了三部分信息:Python 的 magic number、创建时间以及 PyCodeObject 对象。

magic number 是 Python 定义的一个整数值。一般来说,不同版本的 Python 实现都会定义不同的 magic number,这个值是用来保证 Python 兼容性的。不同版本的 Python 定义的字节码指令可能会不同,如果不做检查,执行的时候就可能出错。比如要限制由低版本编译的 pyc 文件不能让高版本的 Python 程序来执行,只需要检查 magic number 不同就可以了。

创建时间是用来判断pyc文件是否有效,每次在载入之前都会先校验py文件和pyc文件的最后修改日期,如果不一致则重新生成一份pyc文件(详见import.py),避免了修改源代码后与本地字节码文件产生冲突。

那么为什么执行test.py模块时,没有生成.pyc文件呢?

首先,既然pyc存在意义是重复运行的时候免去编译操作,那么需要编译成pyc文件的应该是那些可以重用的模块。所以Python的解释器认为:只有import进来的模块,才是需要被重用的模块。这也是为什么执行import_test.py模块时,只生成了被导入的test.py模块的pyc文件的原因。

日常程序设计时,公共通用的方法封装成单独的模块,通过导入模块被使用,有利于提高代码运行效率,当然这一般也不会是什么瓶颈。。。


分享到:


相關文章: