将数据从SQL Server加载到S3作为镶木地板 - AWS EMR

作者: v-star*위위
发布时间: 2024-12-29 09:42:45 (23天前)
转自：

5 条回复

0#
回复此人
丫头 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 虽然我迟到了，但是为了将来的参考。在我们的项目中，我们正是这样做的，我更喜欢Sqoop而不是Spark。 </p> <P> 原因：我使用Glue从Mysql读取数据到S3并且读取不是并行的（有AWS支持查看它，这就是Glue（使用Pyspark）工作的方式，但是一旦读取完成并且并行写入S3）。这样效率不高而且速度慢。要读取和写入S3的100GB数据需要1.5Hr。 </p> <P> 因此我在EMR上启用了Sqoop并启用了Glue目录（所以hive Metastore在AWS上）我可以直接从Sqoop写入S3，这样可以更快地将100GB的数据读取需要20分钟。 </p> <P> 您必须设置set hive.metastore.warehouse.dir = s3：//如果您执行hive-import或直接写入，您应该会看到正在写入S3的数据。 </p> </DIV>

编辑
1#
回复此人
真不错 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您可以按如下方式创建配置单元外部表 </p> <pre> <code> create external table table_a ( siteid string, nodeid string, aggregation_type string ) PARTITIONED BY (day string) STORED AS PARQUET LOCATION 's3://mybucket/table_a'; </code> </pre> <P> 然后，您可以运行以下命令将每天目录下存储的分区文件注册到HiveMatastore </p> <pre> <code> MSCK REPAIR TABLE table_a; </code> </pre> <P> 现在，您可以通过配置单元查询访问您的文件。我们在项目中使用了这种方法并且运行良好。完成上述命令后，即可运行查询 </p> <pre> <code> select * from table_a where day='day_1'; </code> </pre> <P> 希望这可以帮助。 </p> <P> -Ravi </p> </DIV>

编辑
2#
回复此人
电动少女 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> Spark是一个非常好的实用工具。你很容易 <a href="https://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases" rel="nofollow noreferrer"> 连接到JDBC数据源 </A> ，您可以通过指定凭据和S3路径（例如， <a href="https://stackoverflow.com/questions/45869510/pyspark-save-dataframe-to-s3"> Pyspark将数据帧保存到S3 </A> ）。 </p> <P> 如果您使用AWS，Spark，Presto和Hive的最佳选择是使用AWS Glue Metastore。这是一个数据目录，它将您的s3对象注册为数据库中的表，并提供用于查找这些对象的API。 </p> <P> Q2的答案是肯定的，你可以有一个引用多个文件的表。如果您有分区数据，通常需要这样做。 </p> </DIV>

编辑
3#
回复此人
猫南北 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> Spark读取jdbc使用mutliple连接拉取数据。链接在这里 </p> <pre> <code> def jdbc(url: String, table: String, columnName: String, lowerBound: Long, upperBound: Long, numPartitions: Int, connectionProperties: Properties): Construct a DataFrame representing the database table accessible via JDBC URL url named table. Partitions of the table will be retrieved in parallel based on the parameters passed to this function. Don't create too many partitions in parallel on a large cluster; otherwise Spark might crash your external database systems. url JDBC database url of the form jdbc:subprotocol:subname. table Name of the table in the external database. columnName the name of a column of integral type that will be used for partitioning. lowerBound the minimum value of columnName used to decide partition stride. upperBound the maximum value of columnName used to decide partition stride. numPartitions the number of partitions. This, along with lowerBound (inclusive), upperBound (exclusive), form partition strides for generated WHERE clause expressions used to split the column columnName evenly. When the input is less than 1, the number is set to 1. connectionProperties JDBC database connection arguments, a list of arbitrary string tag/value. Normally at least a "user" and "password" property should be included. "fetchsize" can be used to control the number of rows per fetch.DataFrame </code> </pre> <P> <a href="https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameReader" rel="nofollow noreferrer"> https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameReader </A> </p> <P> 的<strong> <a href="http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases" rel="nofollow noreferrer"> http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases </A> </强> </p> <P> 创建具有分区列的hive表作为日期并保存并指定以下位置 </p> <pre> <code> create table table_name ( id int, dtDontQuery string, name string ) partitioned by (date string) Location s3://s3://mybucket/table_name/ </code> </pre> <P> 在数据中添加一个名为date的列，并使用sysdate填充它。如果不需要，您无需添加列，我们可以填充该位置。但它也可以作为分析的审核列。使用火花 <code> dataframe.partitionBy(date).write.parquet.location(s3://mybucket/table_name/) </code> </p> <P> 每日表演 <code> MSCK repair on the hive table </code> 因此，新分区将添加到表中。 </p> <P> 在非数字列上应用numPartitions是通过将该列的哈希函数创建为所需的连接数并使用该列 </p> </DIV>

编辑

登录后才能参与评论