使用pysftp从SFTP读取SHP文件

Read SHP file from SFTP using pysftp(使用pysftp从SFTP读取SHP文件)
本文介绍了使用pysftp从SFTP读取SHP文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在尝试使用pysftp的getfo()来读取shapefile(无需下载)。然而,我得到的输出似乎不可行,而且我不确定是否可以使用shapefile来实现此目的。

理想情况下,我希望读入文件并将其转换为Geopandas GeoDataFrame。

import pysftp
import io

with pysftp.Connection(host=host, username=user, password=pass) as sftp:
    print("Connection established ... ")

    flo = io.BytesIO()
    sites = sftp.getfo('sites/Sites.shp', flo)
    value=flo.getvalue()

从这里我无法对值进行解码,并且不确定如何继续。

推荐答案

应该是这样的:

flo.seek(0)
df = geopandas.read_file(shp=flo)

虽然使用Connection.getfo不必要地将整个原始文件保留在内存中。效率更高的应该是:

with sftp.open('sites/Sites.shp', bufsize=32768) as f:
    df = geopandas.read_file(f)

(bufsize=32768参见Reading file opened with Python Paramiko SFTPClient.open method is slow)


但是,如果我理解正确的话,您需要多个文件。当您通过类文件对象提供";shp";时,geopandas不可能神奇地访问远程服务器上的其他相关文件。地质 pandas 不知道它是从哪里来的,甚至不知道它的物理名称是什么。您需要为所有单个文件提供类似文件的对象。参见Using pyshp to read a file-like object from a zipped archive-它们不使用Geopandas,但原理是相同的。

对于Geopandas,似乎是底层Fiona库处理该问题,我找不到任何相关参数的文档。

我猜可能会这样,但这只是一个胡乱猜测:

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    df = geopandas.read_file(shp, shx=shx, dbf=dbf, ...)

或切换到shapefile/pyshp module:

with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
     sftp.open('sites/Sites.shx', bufsize=32768) as shx:
     sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
     ...
    r = shapefile.Reader(shp=shp, shx=shx, dbf=dbf)
另一个诀窍是将所有文件打包到一个压缩存档中:
Read shapefile from HDFS with geopandas


顺便说一句,代码无论如何都会下载文件。如果不实际下载文件内容,则无法解析远程文件内容。该代码只是避免将下载的文件内容存储到(临时)本地文件。

这篇关于使用pysftp从SFTP读取SHP文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)