Pig 压缩处理

• 

  BinStorage 函数

  我们可以使用BinStorage() 和TextLoader() 函数在Apache Pig中加载和存储压缩数据。

  例 - 假设我们在HDFS目录/pigdata/中有一个名为employee.txt.zip的文件。然后，我们可以将压缩文件加载到pig中，如下所示。

  
  Using PigStorage: 
   
  grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
   
  Using TextLoader:
    
  grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;
  

  复制

  以同样的方式，我们可以将压缩文件存储到pig中，如下所示。

  
  Using PigStorage:
    
  grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');
  

  复制