您如何组织数据库中的大数据？

作者: 春风助手
发布时间: 2024-08-25 01:14:24 (8小时前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-07 11-58

为了完全回答您的问题，我们将需要更多有关数据量，复杂程度以及用例的信息（即，您在多个表上进行了多次联接还是大多数在单个表上进行联接？）。无论如何，这里有一些很好的指导可以帮助您上路。如果您希望数据快速增长，我建议您看一下基于云的数据库解决方案，而不要投资需要经常更换的物理硬件。基于云的解决方案为您提供了更大的自由，可以在垂直和水平方向上扩展数据库。有专门的云数据库技术，例如Amazon RedShift和最近推出的Aurora，可以根据您的需求增长对其进行轻松配置。为了提高数据库的性能，您始终可以查看索引和结构更改。使用MySQL中的explain语法分析您的查询，并查看查询是否使用临时表或数据扫描，这会降低速度。将索引添加到用于过滤或合并数据的列中可以大大提高性能。在数据仓库中，您还可以对表进行规范化和预联接以提高性能。尽管这将极大地增加您的存储使用量，但由于只使用一个数据表这一事实提高了性能，因为不再需要进行一次又一次的联接。如果您正在寻找数量庞大的数据集，这些数据集会在结构和复杂性上不断增长，那么还有其他非关系数据库技术，例如基于noSQL的Hadoop，Cassandra等。进入这些环境可能需要您重写大多数应用程序，但这是需要注意的当数据变得太大时，您应该先考虑是否需要此类东西。编辑 @SaïdTahali在评论中指出的隐私和数据安全性。如果由于法律或安全原因不能在外部托管数据，则需要投资自己的硬件来解决上述所有内部问题。

编辑

登录后才能参与评论