PySpark - SparkFiles
-
简述
在 Apache Spark 中,您可以使用sc.addFile(sc 是您的默认 SparkContext)并使用SparkFiles.get. 因此,SparkFiles 解析通过添加的文件的路径SparkContext.addFile().SparkFiles 包含以下类方法 -- get(filename)
- getrootdirectory()
让我们详细了解它们。 -
get(filename)
它指定通过 SparkContext.addFile() 添加的文件的路径。 -
getrootdirectory()
它指定根目录的路径,其中包含通过 SparkContext.addFile() 添加的文件。命令- 命令如下 -输出- 上述命令的输出是 -