本文整理汇总了Python中pyspark.sql.types._parse_datatype_json_string函数的典型用法代码示例。如果您正苦于以下问题:Python _parse_datatype_json_string函数的具体用法?Python _parse_datatype_json_string怎么用?Python _parse_datatype_json_string使用的例子?那么恭喜您, 这里精选的函数代码示例或许可以为您提供帮助。
在下文中一共展示了_parse_datatype_json_string函数的7个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于我们的系统推荐出更棒的Python代码示例。
示例1: schema
def schema(self):
"""Returns the schema of this DataFrame (represented by
a L{StructType}).
>>> df.schema()
StructType(List(StructField(age,IntegerType,true),StructField(name,StringType,true)))
"""
return _parse_datatype_json_string(self._jdf.schema().json())
开发者ID:MLDL,项目名称:spark,代码行数:8,代码来源:dataframe.py
示例2: schema
def schema(self):
"""Returns the schema of this :class:`DataFrame` as a :class:`types.StructType`.
>>> df.schema
StructType(List(StructField(age,IntegerType,true),StructField(name,StringType,true)))
"""
if self._schema is None:
self._schema = _parse_datatype_json_string(self._jdf.schema().json())
return self._schema
开发者ID:ZhangQingcheng,项目名称:spark,代码行数:9,代码来源:dataframe.py
示例3: schema
def schema(self):
"""Returns the schema of this :class:`DataFrame` as a :class:`types.StructType`.
>>> df.schema
StructType(List(StructField(age,IntegerType,true),StructField(name,StringType,true)))
"""
if self._schema is None:
try:
self._schema = _parse_datatype_json_string(self._jdf.schema().json())
except AttributeError as e:
raise Exception("Unable to parse datatype from schema. %s" % e)
return self._schema
开发者ID:regisgimenis,项目名称:spark,代码行数:12,代码来源:dataframe.py
示例4: imageSchema
def imageSchema(self):
"""
Returns the image schema.
:return: a :class:`StructType` with a single column of images
named "image" (nullable).
.. versionadded:: 2.3.0
"""
if self._imageSchema is None:
ctx = SparkContext._active_spark_context
jschema = ctx._jvm.org.apache.spark.ml.image.ImageSchema.imageSchema()
self._imageSchema = _parse_datatype_json_string(jschema.json())
return self._imageSchema
开发者ID:EinsamHauer,项目名称:spark,代码行数:15,代码来源:image.py
示例5: columnSchema
def columnSchema(self):
"""
Returns the schema for the image column.
:return: a :class:`StructType` for image column,
``struct<origin:string, height:int, width:int, nChannels:int, mode:int, data:binary>``.
.. versionadded:: 2.4.0
"""
if self._columnSchema is None:
ctx = SparkContext._active_spark_context
jschema = ctx._jvm.org.apache.spark.ml.image.ImageSchema.columnSchema()
self._columnSchema = _parse_datatype_json_string(jschema.json())
return self._columnSchema
开发者ID:ConeyLiu,项目名称:spark,代码行数:15,代码来源:image.py
示例6: check_datatype
def check_datatype(datatype):
pickled = pickle.loads(pickle.dumps(datatype))
assert datatype == pickled
scala_datatype = self.sqlCtx._ssql_ctx.parseDataType(datatype.json())
python_datatype = _parse_datatype_json_string(scala_datatype.json())
assert datatype == python_datatype
开发者ID:EugenCepoi,项目名称:spark,代码行数:6,代码来源:tests.py
示例7: check_datatype
def check_datatype(datatype):
pickled = pickle.loads(pickle.dumps(datatype))
assert datatype == pickled
scala_datatype = self.spark._jsparkSession.parseDataType(datatype.json())
python_datatype = _parse_datatype_json_string(scala_datatype.json())
assert datatype == python_datatype
开发者ID:JingchengDu,项目名称:spark,代码行数:6,代码来源:test_types.py
注:本文中的pyspark.sql.types._parse_datatype_json_string函数示例由纯净天空整理自Github/MSDocs等源码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。 |
请发表评论