PROSAGA码农传奇-Xedge-如何在pyspark中更改列元数据？

<div class =“post-text”itemprop =“text”>
  
    在这两种情况下，都会丢失元数据：
  
  <UL>
    <LI>
      当你调用Python时
       <code>
 udf
 </code>
       输入之间没有关系
       <code>
 Column
 </code>
       及其元数据和输出
       <code>
 Column
 </code>
      。
       <code>
 UserDefinedFunction
 </code>
       （在Python和Scala中）都是Spark引擎的黑盒子。
    </LI>
    <LI>
      
        将数据直接分配给Python架构对象：
      
      
        <S />
      
       <pre>
 <code>
 df2.schema.fields[1].metadata = extract(df.schema.fields[1].metadata)

</code>
 </pre>
      
      
      
        的
          不是一个有效的方法
        </强>
         一点都不火花
         <code>
 DataFrame
 </code>
         是JVM对象的东西包装器。 Python包装器中的任何更改对于JVM后端都是完全不透明的，并且根本不会传播：
      
       <pre class="lang-py prettyprint-override">
 <code>
 import json

df = spark.createDataFrame([(1, "foo")], ("k", "v"))
df.schema[-1].metadata = {"foo": "bar"}

json.loads(df._jdf.schema().json())

## {'fields': [{'metadata': {}, 'name': 'k', 'nullable': True, 'type': 'long'},
##   {'metadata': {}, 'name': 'v', 'nullable': True, 'type': 'string'}],
## 'type': 'struct'}

</code>
 </pre>
      
        甚至保存在Python中：
      
       <pre class="lang-py prettyprint-override">
 <code>
 df.select("*").schema[-1].metadata
## {}

</code>
 </pre>
    </LI>
  </UL>
  
    同
    的
      火花＆lt; 2.2
    </强>
     你可以使用一个小包装（取自
    <a href="https://github.com/awesome-spark/spark-gotchas/blob/master/06_data_preparation.md#python" rel="noreferrer">
      Spark Gotchas
    </A>
    ，由我和。维护
    <a href="https://stackoverflow.com/users/3415409/eliasah">
      @eliasah
    </A>
    ）：
  
   <pre class="lang-py prettyprint-override">
 <code>
 def withMeta(self, alias, meta):
 sc = SparkContext._active_spark_context
 jmeta = sc._gateway.jvm.org.apache.spark.sql.types.Metadata
 return Column(getattr(self._jc, "as")(alias, jmeta.fromJson(json.dumps(meta))))

df.withColumn("foo", withMeta(col("foo"), "", {...}))

</code>
 </pre>
  
    同
    的
      Spark＆gt; = 2.2
    </强>
     您可以使用
     <code>
 Column.alias
 </code>
    ：
  
   <pre class="lang-py prettyprint-override">
 <code>
 df.withColumn("foo", col("foo").alias("", metadata={...}))

</code>
 </pre>
</DIV>