本文介绍了箭/拼花错误地保存大的时间戳的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我在数据库中有一些9999-12-31的时间戳，正在尝试转换为拼花。不知何故，这些时间戳在拼花文件中都以1816-03-29 05:56:08.066结束。
下面是重现该问题的一些代码。
file_path = "tt.parquet"
schema = pa.schema([pa.field("tt", pa.timestamp("ms"))])
table = pa.Table.from_arrays([pa.array([datetime(9999, 12, 31),], pa.timestamp('ms'))], ["tt"])
writer = pq.ParquetWriter(file_path, schema)
writer.write_table(table)
writer.close()
我没有尝试使用 pandas 读取数据，但我尝试了使用 pandas 进行检查，但以pyarrow.lib.ArrowInvalid: Casting from timestamp[ms] to timestamp[ns] would result in out of bounds timestamp:错误告终。
我正在将拼图文件加载到Snowflake中，并得到了错误的时间戳。我也试过用镶木地板工具检查，但这似乎不适用于时间戳。
拼花/箭不支持大时间戳吗？如何存储正确的时间戳？
推荐答案
原来是因为我需要在镶木地板上use_deprecated_int96_timestamps=Falsewriter
它默认情况下会说它是假的，但我已将风味设置为"Spark"，所以我认为它会覆盖它。
感谢您的帮助
这篇关于箭/拼花错误地保存大的时间戳的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！