上一节:
下一节:

  Pig 执行

  • 执行

    在上一章中，我们解释了如何安装Apache Pig。在本章中，我们将讨论如何执行Apache Pig。

  • Apache Pig执行模式

    您可以在两种模式下运行Apache Pig，即本地模式和HDFS模式。
    本地模式
    在这种模式下，所有文件都从本地主机和本地文件系统安装并运行。无需Hadoop或HDFS。此模式通常用于测试目的。
    MapReduce模式
    MapReduce模式是我们使用Apache Pig加载或处理Hadoop文件系统（HDFS）中存在的数据的地方。在这种模式下，每当我们执行Pig Latin语句来处理数据时，都会在后端调用MapReduce作业以对HDFS中存在的数据执行特定操作。

  • Apache Pig执行机制

    Apache Pig脚本可以通过三种方式执行，即交互方式，批处理方式和嵌入式方式。
    • 交互模式（Grunt shell） - 您可以使用Grunt shell在交互模式下运行Apache Pig。在此外壳程序中，您可以输入Pig Latin语句并获取输出（使用Dump运算符）。
    • 批处理模式（脚本） - 您可以通过在单个扩展名为.pig的文件中编写Pig Latin脚本，以批处理模式运行Apache Pig 。
    • 嵌入模式（UDF） - Apache Pig提供了定义我们自己的函数（的规定USER Defined Functions）在诸如Java编程语言，并在我们的脚本中使用它们。

  • 调用Grunt Shell

    您可以使用-x选项以所需的方式（本地/MapReduce）调用Grunt shell，如下所示。
    本地模式 MapReduce 模式
    命令 − $ ./pig –x local 命令$ ./pig -x mapreduce 
          
jc2182@debian:~/pig$ pig -x local
2021-01-11 15:09:08,420 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2021-01-11 15:09:08,690 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
2021-01-11 15:09:08,690 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType
2021-01-11 15:09:08,825 [main] INFO  org.apache.pig.Main - Apache Pig version 0.17.0 (r1797386) compiled Jun 02 2017, 15:41:58
2021-01-11 15:09:08,825 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/jc2182/pig/pig_1610348948819.log
2021-01-11 15:09:08,939 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/jc2182/.pigbootup not found
2021-01-11 15:09:09,131 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2021-01-11 15:09:09,133 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:///
2021-01-11 15:09:09,537 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum
2021-01-11 15:09:09,618 [main] INFO  org.apache.pig.PigServer - Pig Script ID for the session: PIG-default-47ff99a2-5aab-497f-9966-0ffebd44f115
2021-01-11 15:09:09,618 [main] WARN  org.apache.pig.PigServer - ATS is disabled since yarn.timeline-service.enabled set to false
grunt> 

     
jc2182@debian:~/pig$ pig -x mapreduce
2021-01-11 15:11:00,724 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
2021-01-11 15:11:00,726 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
2021-01-11 15:11:00,726 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType
2021-01-11 15:11:00,816 [main] INFO  org.apache.pig.Main - Apache Pig version 0.17.0 (r1797386) compiled Jun 02 2017, 15:41:58
2021-01-11 15:11:00,816 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/jc2182/pig/pig_1610349060803.log
2021-01-11 15:11:00,856 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/jc2182/.pigbootup not found
2021-01-11 15:11:01,150 [main] WARN  org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2021-01-11 15:11:01,179 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2021-01-11 15:11:01,179 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://localhost:9000
2021-01-11 15:11:02,161 [main] INFO  org.apache.pig.PigServer - Pig Script ID for the session: PIG-default-424e89f8-dc16-49eb-89dc-5584cb0c47f7
2021-01-11 15:11:02,161 [main] WARN  org.apache.pig.PigServer - ATS is disabled since yarn.timeline-service.enabled set to false
grunt>
    注意：MapReduce模式必需启动Hadoop
    这两个命令都会为您提供Grunt shell提示符，如下所示。 
     
grunt>
    您可以使用'ctrl + d'退出Grunt shell。
    调用Grunt shell之后，您可以通过直接在其中输入Pig Latin语句来执行Pig脚本。 
     
grunt> customers = LOAD 'customers.txt' USING PigStorage(',');

  • 以批处理模式执行Apache Pig

    您可以在文件中编写整个Pig Latin脚本，然后使用–x命令执行它。我们假设在名为sample_script.pig的文件中有一个Pig脚本，如下所示。
    脚本文件 Sample_script.pig 
     
student = LOAD 'hdfs://localhost:9000/pig_data/student.txt' USING
   PigStorage(',') as (id:int,name:chararray,city:chararray);
  
Dump student;
    现在，您可以在上述文件中执行脚本，如下所示。
    • 本地模式 $ pig -x local Sample_script.pig
    • mapreduce 模式 $ pig -x mapreduce Sample_script.pig
    注意-我们将在后续章节中详细讨论如何在Bach模式和嵌入式模式下运行Pig脚本。
上一节:
下一节: