我的11.3MB数据库文件用Pickle加载需要3分钟

作者: 不想吃东西
发布时间: 2024-12-16 12:58:41 (2月前)
转自：

3 条回复

0#
回复此人
石茶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 播放大型视频文件通常不会立即将整个文件读入内存 - 媒体播放器将缓冲足以开始显示它，然后根据需要进行更多流式传输。如果你希望你的数据库更加快捷，你可以以不同的方式存储它，这样它就不需要将所有内容加载到内存中 - 就像一个小得多的索引作为一个具有数据记录偏移量的树。 </p> <P> 也就是说，3分钟确实听起来很极端。你可以试着让它更快的一些事情： </p> <UL> <LI> 使用 <a href="https://docs.python.org/2/library/pickle.html#module-cPickle" rel="nofollow"> <code> cPickle </code> </A> 如果你正在使用Python 2，正如评论所暗示的那样（Python 3会自动执行此操作）。 </LI> <LI> 确保您使用的是最新的二元泡菜格式。 </LI> <LI> <a href="https://docs.python.org/3.5/library/profile.html" rel="nofollow"> 轮廓 </A> 加载 - unpickling对象可以在加载对象时调用对象上的方法（取决于类），并且可能是他们正在做你不期望的工作。我发现了 <a href="https://jiffyclub.github.io/snakeviz/" rel="nofollow"> snakevis </A> 要么 <a href="http://www.vrplumber.com/programming/runsnakerun/" rel="nofollow"> RunSnakeRun </A> 有助于探索探查器输出。 </LI> <LI> 另一种探索方法是改变你存储的对象的格式 - 将它作为元组列表进行选择，或者将其写为（gzipped）JSON。 </LI> </UL> </DIV>

编辑
1#
回复此人
IP地址 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 如果您不需要在内存中同时使用整个评级字典，您可能会考虑将dict存储到数据库或由一组文件组成的“磁盘上”数据库。我是作者 <code> klepto </code> ，它非常适合这个目的 - 它提供了一个python字典抽象接口到SQL数据库，或磁盘上的文件目录;两者看起来都符合你的目的。 </p> <P> 简而言之，您可以与数据库直接交互（ <code> cached=False </code> ）或由内存字典缓冲的一个（ <code> cached=True </code> ）。 </p> <P> 要构建存档： </p> <pre> <code> >>> import klepto >>> d = klepto.archives.dir_archive('ratings', serialized=True) >>> d['Dune'] = 10 >>> d['Monty Python'] = 9 >>> d['Avengers'] = 2 >>> d.dump() </code> </pre> <P> 要阅读条目或存档： </p> <pre> <code> >>> import klepto >>> d = klepto.archives.dir_archive('ratings', serialized=True) >>> d.load('Dune') >>> d dir_archive('ratings', {'Dune': 10}, cached=True) >>> d['Dune'] 10 >>> d.load() >>> d.keys() ['Monty Python', 'Avengers', 'Dune'] >>> d.items() [('Monty Python', 9), ('Avengers', 2), ('Dune', 10)] >>> </code> </pre> <P> 如果您不需要所有条目，它应该加载更快。第二个好处是，您可以非常轻松地尝试不同的编码和存储格式，以查看最适合您需求的内容。 </p> </DIV>

编辑

登录后才能参与评论