将预编译扩展放在非纯Python Wheels包的根文件夹中

Place pre-compiled extensions in root folder of non-pure Python Wheel package(将预编译扩展放在非纯Python Wheels包的根文件夹中)
本文介绍了将预编译扩展放在非纯Python Wheels包的根文件夹中的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

tl;dr如何使distutils/setuptools正确包含非纯数据文件?

我有一个项目,它使用自定义工具链执行一些重要的代码生成,然后用SWIG包装生成的代码,最后构建Python扩展。Cmake很好地封装了所有这些内容,最后我在项目的根目录下有了一个文件夹,它的工作方式与其他任何Python包完全一样。

我希望有一个简单的setup.py,这样我就可以将这个包包装到一个轮子中,并将其发送到PyPI,这样普通的Python用户就不必处理构建过程。关于如何强制setupTools生成非纯轮子,然后您可以使用package_data字段或MANIFEST.in文件捆绑扩展,有很多答案。

问题是这种方法会导致错误的轮子,因为扩展名包含在purelib下,而不是根目录下(它们属于Root-Is-Pure: False轮子中)。某些工具和发行版依赖于此分离是否正确。

我不感兴趣的答案:从setup.py内部运行cmake的自定义扩展(我不想添加另一层间接层来配置项目,也不想在构建选项更改时维护它),修改生成的轮子,我希望避免向项目根目录添加任何文件,而不仅仅是setup.py

推荐答案

这行得通。distutilssetuptools必须是现有的一些设计最差的中央Python基础结构。

from setuptools import setup, find_packages, Extension
from setuptools.command.build_ext import build_ext
import os
import pathlib
import shutil

suffix = '.pyd' if os.name == 'nt' else '.so'

class CustomDistribution(Distribution):
  def iter_distribution_names(self):
    for pkg in self.packages or ():
      yield pkg
    for module in self.py_modules or ():
      yield module

class CustomExtension(Extension):
  def __init__(self, path):
    self.path = path
    super().__init__(pathlib.PurePath(path).name, [])

class build_CustomExtensions(build_ext):
  def run(self):
    for ext in (x for x in self.extensions if isinstance(x, CustomExtension)):
      source = f"{ext.path}{suffix}"
      build_dir = pathlib.PurePath(self.get_ext_fullpath(ext.name)).parent
      os.makedirs(f"{build_dir}/{pathlib.PurePath(ext.path).parent}",
          exist_ok = True)
      shutil.copy(f"{source}", f"{build_dir}/{source}")

def find_extensions(directory):
  extensions = []
  for path, _, filenames in os.walk(directory):
    for filename in filenames:
      filename = pathlib.PurePath(filename)
      if pathlib.PurePath(filename).suffix == suffix:
        extensions.append(CustomExtension(os.path.join(path, filename.stem)))
  return extensions

setup(
  # Stuff
  ext_modules = find_extensions("PackageRoot"),
  cmdclass = {'build_ext': build_CustomExtensions}
  distclass = CustomDistribution
)

我将扩展复制到构建目录中,仅此而已。我们重写分发,向鸡蛋信息编写者撒谎,告诉他们有任何扩展,一切都很容易。

这篇关于将预编译扩展放在非纯Python Wheels包的根文件夹中的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)