本文介绍了使用pysftp从SFTP读取SHP文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我正在尝试使用pysftp的getfo()
来读取shapefile(无需下载)。然而,我得到的输出似乎不可行,而且我不确定是否可以使用shapefile来实现此目的。
理想情况下,我希望读入文件并将其转换为Geopandas GeoDataFrame。
import pysftp
import io
with pysftp.Connection(host=host, username=user, password=pass) as sftp:
print("Connection established ... ")
flo = io.BytesIO()
sites = sftp.getfo('sites/Sites.shp', flo)
value=flo.getvalue()
从这里我无法对值进行解码,并且不确定如何继续。
推荐答案
应该是这样的:
flo.seek(0)
df = geopandas.read_file(shp=flo)
虽然使用
Connection.getfo
不必要地将整个原始文件保留在内存中。效率更高的应该是:
with sftp.open('sites/Sites.shp', bufsize=32768) as f:
df = geopandas.read_file(f)
(bufsize=32768
参见Reading file opened with Python Paramiko SFTPClient.open method is slow)
但是,如果我理解正确的话,您需要多个文件。当您通过类文件对象提供";shp";时,geopandas不可能神奇地访问远程服务器上的其他相关文件。地质 pandas 不知道它是从哪里来的,甚至不知道它的物理名称是什么。您需要为所有单个文件提供类似文件的对象。参见Using pyshp to read a file-like object from a zipped archive-它们不使用Geopandas,但原理是相同的。
对于Geopandas,似乎是底层Fiona库处理该问题,我找不到任何相关参数的文档。
我猜可能会这样,但这只是一个胡乱猜测:
with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
sftp.open('sites/Sites.shx', bufsize=32768) as shx:
sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
...
df = geopandas.read_file(shp, shx=shx, dbf=dbf, ...)
或切换到shapefile
/pyshp
module:
with sftp.open('sites/Sites.shp', bufsize=32768) as shp,
sftp.open('sites/Sites.shx', bufsize=32768) as shx:
sftp.open('sites/Sites.dbf', bufsize=32768) as dbf:
...
r = shapefile.Reader(shp=shp, shx=shx, dbf=dbf)
另一个诀窍是将所有文件打包到一个压缩存档中:Read shapefile from HDFS with geopandas
顺便说一句,代码无论如何都会下载文件。如果不实际下载文件内容,则无法解析远程文件内容。该代码只是避免将下载的文件内容存储到(临时)本地文件。
这篇关于使用pysftp从SFTP读取SHP文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!