Lucene - StandardAnalyzer 类

  • 简述

    这是最复杂的分析器,能够处理姓名、电子邮件地址等。它将每个标记小写并删除常用词和标点符号(如果有)。
  • 类声明

    以下是声明 org.apache.lucene.analysis.StandardAnalyzer 类 -
    
    public final class StandardAnalyzer
       extends StopwordAnalyzerBase
    
  • 字段

    以下是字段 org.apache.lucene.analysis.StandardAnalyzer 类 -
    • static int DEFAULT_MAX_TOKEN_LENGTH – 这是默认的最大允许令牌长度。
    • static Set<?> STOP_WORDS_SET - 一个不可修改的集合,包含一些通常对搜索无用的常见英语单词。
  • 类构造函数

    下表显示了不同的类构造函数 -
    序号 构造函数和描述
    1
    StandardAnalyzer(Version matchVersion)
    使用默认停用词 (STOP_WORDS_SET) 构建分析器。
    2
    StandardAnalyzer(Version matchVersion, File stopwords)
    已弃用。改用 StandardAnalyzer(Version, Reader)。
    3
    StandardAnalyzer(Version matchVersion, Reader stopwords)
    使用来自给定阅读器的停用词构建分析器。
    4
    StandardAnalyzer(Version matchVersion, Set<?> stopWords)
    使用给定的停用词构建分析器。
  • 类方法

    下表显示了不同的类方法 -
    序号 方法和说明
    1
    protected Reusable Analyzer Base. Token Stream Components create Components(String fieldName, Reader reader)
    为此分析器创建一个新的 ReusableAnalyzerBase.TokenStreamComponents 实例。
    2
    int getMaxTokenLength()
    3
    void setMaxTokenLength(int length)
    设置允许的最大令牌长度。
  • 继承的方法

    这个类继承了以下类的方法 -
    • org.apache.lucene.analysis.StopwordAnalyzerBase
    • org.apache.lucene.analysis.ReusableAnalyzerBase
    • org.apache.lucene.analysis.Analyzer
    • java.lang.Object
  • 用法

    
    private void displayTokenUsingStandardAnalyzer() throws IOException {
       String text 
          = "Lucene is simple yet powerful java based search library.";
       Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
       TokenStream tokenStream 
          = analyzer.tokenStream(LuceneConstants.CONTENTS,
            new StringReader(text));
       TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
       
       while(tokenStream.incrementToken()) {
          System.out.print("[" + term.term() + "] ");
       }
    }
    
  • 示例应用

    让我们创建一个测试 Lucene 应用程序来测试使用 BooleanQuery 的搜索。
    描述
    1
    创建一个名称的项目LuceneFirstApplication一个包下com.jc2182.lucene作为解释Lucene的-第一个应用程序的章节。您也可以使用在Lucene - First Application章节中创建的项目作为本章来理解搜索过程。
    2
    按照Lucene - First Application章节中的说明创建LuceneConstants.java。保持其余文件不变。
    3
    如下所述创建LuceneTester.java
    4
    清理并构建应用程序以确保业务逻辑按照要求工作。

    LuceneConstants.java

    此类用于提供要在整个示例应用程序中使用的各种常量。
    
    package com.jc2182.lucene;
    public class LuceneConstants {
       public static final String CONTENTS = "contents";
       public static final String FILE_NAME = "filename";
       public static final String FILE_PATH = "filepath";
       public static final int MAX_SEARCH = 10;
    }
    

    LuceneTester.java

    该类用于测试Lucene库的搜索能力。
    
    package com.jc2182.lucene;
    import java.io.IOException;
    import java.io.StringReader;
    import org.apache.lucene.analysis.Analyzer;
    import org.apache.lucene.analysis.TokenStream;
    import org.apache.lucene.analysis.StandardAnalyzer;
    import org.apache.lucene.analysis.tokenattributes.TermAttribute;
    import org.apache.lucene.util.Version;
    public class LuceneTester {
         
       public static void main(String[] args) {
          LuceneTester tester;
          tester = new LuceneTester();
       
          try {
             tester.displayTokenUsingStandardAnalyzer();
          } catch (IOException e) {
             e.printStackTrace();
          }
       }
       private void displayTokenUsingStandardAnalyzer() throws IOException {
          String text 
             = "Lucene is simple yet powerful java based search library.";
          Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_36);
          TokenStream tokenStream = analyzer.tokenStream(
             LuceneConstants.CONTENTS, new StringReader(text));
          TermAttribute term = tokenStream.addAttribute(TermAttribute.class);
          while(tokenStream.incrementToken()) {
             System.out.print("[" + term.term() + "] ");
          }
       }
    }
    
  • 运行程序

    完成源代码的创建后,您可以继续编译和运行程序。为此,请保持LuceneTester.Java 激活文件选项卡并使用 Eclipse IDE 中提供的运行选项或使用 Ctrl + F11 编译并运行你的 LuceneTester应用。如果您的应用程序成功运行,它将在 Eclipse IDE 的控制台中打印以下消息 -
    
    [lucene] [simple] [yet] [powerful] [java] [based] [search] [library]