使用DILL的模块中的Pickle类定义

Pickle class definition in module with dill(使用DILL的模块中的Pickle类定义)
本文介绍了使用DILL的模块中的Pickle类定义的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我的模块包含一个应该是可拾取的类,包括实例和定义 我的结构如下:
MyModule
|-Submodule
  |-MyClass
在关于的其他问题中,我已经发现Dill能够筛选类定义,并且它的工作原理是将MyClass的定义复制到一个单独的脚本中并在那里进行筛选,如下所示:
import dill as pickle

class MyClass(object):
    ...

instance = MyClass(...)
with open(..., 'wb') as file:
   pickle.dump(instance, file)

但是,它在导入类时不起作用:

腌制:

from MyModule.Submodule import MyClass
import dill as pickle

instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

正在加载:

import dill as pickle

with open(..., 'rb') as file:
    instance = pickle.load(file)

>>> ModuleNotFoundError: No module named 'MyModule'

我认为类定义是通过引用保存的,尽管它在DILL中不应该具有默认设置。当MyClass称为__main__.MyClass时,这是正确的,当在主脚本中定义类时就会发生这种情况。

我想知道,有什么方法可以将MyClassMyModule分开吗?有没有办法让它像顶级导入一样(__main__.MyClass),这样Dill就知道如何在我的另一台计算机上加载它?

相关问题: Why dill dumps external classes by reference no matter what

推荐答案

Dill实际上只存储__main__中的对象定义,而不存储模块中的对象定义,因此解决此问题的一种方法是在Main中重新定义这些对象:

def mainify(obj):
    import __main__
    import inspect
    import ast

    s = inspect.getsource(obj)
    m = ast.parse(s)
    co = compile(m, '<string>', 'exec')
    exec(co, __main__.__dict__)

然后:

from MyModule.Submodule import MyClass
import dill as pickle

mainify(MyClass)
instance = MyClass(...)
with open(.., 'wb') as file:
    pickle.dump(instance, file)

现在您应该能够从任何位置加载泡菜,即使在MyModule.Submodule不可用的情况下也是如此。

这篇关于使用DILL的模块中的Pickle类定义的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)