PROSAGA码农传奇-云数据库Trove-如何使用Node.js中的bigquery API获取800万条Google Cloud记录？

<div class =“post-text”itemprop =“text”>
  
    的
      1.大查询响应的最大大小是多少？
    </强>
  
  
    如上所述
    <a href="https://cloud.google.com/bigquery/quota-policy#queries" rel="nofollow noreferrer">
      配额政策
    </A>
     查询最大响应大小：128 MB压缩（返回大型查询结果时无限制）
  
  
    的
      2.我们如何在“导出方法”中选择查询请求中的所有记录？
    </强>
  
  
    如果您计划运行可能返回较大结果的查询，则可以进行设置
     <code>
 allowLargeResults
 </code>
     在你的真实
    <a href="https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.query" rel="nofollow noreferrer">
      工作配置
    </A>
    。
  
  
    返回大结果的查询将花费更长的时间来执行，即使结果集很小，并且受到限制
    <a href="https://cloud.google.com/bigquery/querying-data#largequeryresults" rel="nofollow noreferrer">
      其他限制
    </A>
    ：
  
  <UL>
    <LI>
      您必须指定目标表。
    </LI>
    <LI>
      您不能指定顶级ORDER BY，TOP或LIMIT子句。这样做会否定使用allowLargeResults的好处，因为无法再并行计算查询输出。
    </LI>
    <LI>
      仅当与PARTITION BY子句一起使用时，窗口函数才能返回大型查询结果。
    </LI>
  </UL>
  
    阅读有关如何分页以获得结果的更多信息
    <a href="https://stackoverflow.com/questions/14807752/how-do-i-request-paginated-bigquery-query-results-using-pagetokens-with-the-goog">
      这里
    </A>
     并且还从中读取
    <a href="https://books.google.ro/books?id=LDaiAwAAQBAJ&lpg=PR1&pg=PA200#v=onepage&q&f=false" rel="nofollow noreferrer">
      BigQuery Analytics书籍
    </A>
    ，从第200页开始的页面，在那里解释如何
    <a href="https://cloud.google.com/bigquery/docs/reference/v2/jobs/getQueryResults" rel="nofollow noreferrer">
      乔布斯:: getQueryResults
    </A>
     正在与...合作
     <code>
 maxResults
 </code>
     参数和int的阻塞模式。
  
  
    的
      更新：
    </强>
  
  
    查询结果大小限制 - 有时，很难知道128 MB的压缩
数据意味着
  
  
    在BigQuery中运行普通查询时，响应大小限制为128 MB
压缩数据。有时，很难知道128 MB的压缩
数据意味着它被压缩2倍？ 10倍？结果在内压缩
它们各自的列，这意味着压缩比趋于非常大
好。例如，如果您有一个列是国家/地区的名称，那么就在那里
可能只有几个不同的价值观。当你只有几个不同的
值，这意味着没有很多独特的信息和列
通常压缩得很好。如果你返回加密的数据blob，他们会
可能不会很好地压缩，因为它们大多是随机的。 （这在第220页上面链接的书中有解释）
  
</DIV>