关于如何在十亿行表上扩展和改进“基于数据库的查询”的执行时间的建议，每天增加一百万

作者: 757461156
发布时间: 2024-12-19 04:05:23 (1月前)
转自：

8 条回复

0#
回复此人
Gassyc加西可 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 很多时候都使用这样的模式。他们从来没有表现好。最好的方法是根据需要存储数据，格式如下： </p> <P> | ItemName |尺寸|版本| | ---------- | ------- | --------- | |样品| 500mB | 1.0.0 | </p> <P> 然后你不需要转动。顺便说一下，请不要将原来的EAV架构称为“规范化” - 它没有规范化。 </p> </DIV>

编辑
1#
回复此人
关于贤的记忆 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您在一个查询中提到了50个表。虽然SQL Server在单个查询中支持多达256个表，但采用这种方法可以降低优化器生成有效计划的几率。 </p> <P> 如果您坚持使用现有架构，请考虑将报告查询分解为一系列步骤，这些步骤将其结果实现为临时（＃）表。这种方法使您能够独立地执行查询中最具选择性的部分，并且根据我的经验，可以提供巨大的性能提升。查询通常也更易于维护。 </p> <P> 另外（有点远景，这个）你没有说你在哪个SQL服务器版本;但是如果您使用的是SQL 2005，考虑到报告中涉及的表的数量和数据量，值得检查您的SQL服务器是否已修补到至少SP2。 </p> <P> 我使用具有数亿行行数的表来处理ETL项目，我们发现SQL 2005 RTM / SP1中的查询优化器无法始终为加入超过5个表的查询生成有效计划，其中一个或多个表是这个规模。此问题已在SP2中解决。 </p> </DIV>

编辑
2#
回复此人
逆转的风 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 在我看来，就像在针对OLTP事务优化的数据库上发布一些OLAP查询一样。不知道细节，我建议建立一个单独的“数据仓库”，针对您正在进行的查询进行优化。这将涉及聚合数据（如果可能），非规范化以及还具有1天左右的数据库。您可以每天或以您希望的任何间隔逐步更新数据。 </p> </DIV>

编辑
3#
回复此人
你抱着孩子@先跑 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 也许这篇由SQL Server CAT团队撰写的关于Entity-Attribute-Value数据库模型陷阱的白皮书可以帮助： <a href =“http://sqlcat.com/whitepapers/archive/2008/09/03/best-practices-for-semantic-data-modeling-for-performance-and-scalability.aspx"rel =”nofollow noreferrer “> http://sqlcat.com/whitepapers/archive/2008/09/03/best-practices-for-semantic-data-modeling-for-performance-and-scalability.aspx </A> </p> </DIV>

编辑
4#
回复此人
小蚊子 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我将从发布确切的表元数据（以及索引详细信息），确切的查询文本和执行计划开始。 </p> <P> 使用当前表格布局，查询类似于： </p> <pre> <code> SELECT FROM Items WHERE Size = @A AND Version = @B </code> </pre> <P> 无法使用复合索引 <code> (Size, Version) </code> 因为建立这样的索引是不可能的。 </p> <P> 您甚至无法构建索引视图，因为它将包含自联接 <code> attributes </code> 。 </p> <P> 可能最好的决定是像这样对表进行非规范化： </p> <pre> id name size version </pre> <P> 并创建一个索引 <code> (size, version) </code> </p> </DIV>

编辑
5#
回复此人
红蜻蜓 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 请发布准确的DDL和索引，如果您在ID列上有索引，那么您的查询将导致扫描 </p> <P> 而不是像这样的东西 </p> <pre> <code> SELECT FROM Items WHERE Size = @A AND Version = @B </code> </pre> <P> 你需要这样做 </p> <pre> <code> SELECT FROM Items WHERE ID = 1 </code> </pre> <P> 换句话说，您需要获取文本值，找到要编入索引的ID，然后将其用作查询以返回结果 </p> <P> 查看分区功能以分发数据可能也是一个好主意 </p> <P> 集群是为了可用性而不是性能，如果一个节点死亡（活动集群），另一个节点（被动集群）将变为活动状态....当然还有活动的主动集群但这是另一个故事 </p> </DIV>

编辑
6#
回复此人
扬尘 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 短期修复可能是使用 <a href =“http://www.databasejournal.com/features/mssql/article.php/3456991/SQL-Server-2005-Part-5---High-Availability-and-Scalability-Enhancements.htm”rel =“nofollow noreferrer”> 水平分区 </A> 。我假设你最大的桌子是 <code> Items_Attributes </code> 。您可以对此表进行水平分区，将每个分区放在单独的磁盘控制器上的单独文件组中。 </p> <P> 假设您没有尝试报告所有内容 <code> ItemId </code> 一下子。 </p> </DIV>

编辑

登录后才能参与评论