PySpark - 序列化器
-
简述
序列化用于 Apache Spark 的性能调优。所有通过网络发送或写入磁盘或持久存储在内存中的数据都应进行序列化。序列化在成本高昂的操作中起着重要作用。PySpark 支持用于性能调整的自定义序列化程序。PySpark 支持以下两个序列化程序 - -
MarshalSerializer
使用 Python 的 Marshal Serializer 序列化对象。此序列化程序比 PickleSerializer 更快,但支持的数据类型更少。 -
PickleSerializer
使用 Python 的 Pickle 序列化器序列化对象。这个序列化器几乎支持任何 Python 对象,但可能不如更专业的序列化器快。让我们看一个关于 PySpark 序列化的例子。在这里,我们使用 MarshalSerializer 对数据进行序列化。命令- 命令如下 -输出- 上述命令的输出是 -