注册
登录
SAS
有使用h5py在Python中对大数据进行分析的经验吗？
返回
有使用h5py在Python中对大数据进行分析的经验吗？
作者:
狗头军师
发布时间:
2024-01-05 06:56:07 (4月前)
<p>我做了很多统计工作，并使用Python作为主要语言。我使用的某些数据集可能占用20GB的内存，这使得使用numpy，scipy和PyIMSL中的内存中函数对其进行操作几乎是不可能的。统计分析语言SAS在这里具有很大的优势，因为它可以对硬盘中的数据进行操作，而不是严格地在内存中进行处理。但是，由于各种原因，我想避免不得不在SAS中编写大量代码，因此尝试确定我对Python有哪些选择（除了购买更多的硬件和内存）。</p><p>我需要澄清的是，像map-reduce这样的方法对我的大部分工作没有帮助，因为我需要处理完整的数据集（例如，计算分位数或拟合logistic回归模型）。</p><p>最近，我开始玩h5py，认为这是我发现的最佳选择，它允许Python像SAS一样操作并通过磁盘（通过hdf5文件）对数据进行操作，同时仍然能够利用numpy / scipy / matplotlib等。想知道是否有人在类似的环境下使用过Python和h5py以及他们发现了什么。迄今为止，有人能在SAS主导的“大数据”设置中使用Python吗？</p><p>编辑：当然，购买更多的硬件/内存当然可以有所帮助，但是从IT角度来看，当Python（或R或MATLAB等）需要将数据保存在内存中时，我很难将Python卖给需要分析大量数据集的组织。SAS在这里仍然具有很强的卖点，因为尽管基于磁盘的分析速度可能较慢，但您可以放心地处理海量数据集。因此，我希望Stackoverflow-ers可以帮助我弄清楚如何减少将Python用作主流大数据分析语言的风险。</p>
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-07-28 15-02
我们将Python与h5py，numpy / scipy和boost :: python结合使用来进行数据分析。我们的典型数据集的大小最大为数百GB。 HDF5的优势： 可以使用h5view应用程序，h5py / ipython和h5 *命令行工具方便地检查数据 API适用于不同的平台和语言 使用组来构造数据 使用属性注释数据 内置无忧数据压缩 单个数据集上的io快速 HDF5陷阱： 如果h5文件包含太多数据集/组（> 1000），则性能会下降，因为遍历它们的速度非常慢。另一方面，对于一些大型数据集，io速度很快。 高级数据查询（如SQL）实施起来很笨拙且速度较慢（在这种情况下，请考虑使用SQLite） HDF5并非在所有情况下都是线程安全的：必须确保使用正确的选项编译了库 更改h5数据集（调整大小，删除等）会炸毁文件大小（在最佳情况下），或者是不可能的（在最坏情况下）（必须复制整个h5文件以再次平整它）
编辑
登录
后才能参与评论
