Pertanyaan Bagaimana cara menggunakan Lucene Analyzer untuk meng-tokenize String?


Apakah ada cara sederhana saya bisa menggunakan subkelas dari Lucene Analyzer untuk mengurai a String?

Sesuatu seperti:

String to_be_parsed = "car window seven";
Analyzer analyzer = new StandardAnalyzer(...);
List<String> tokenized_string = analyzer.analyze(to_be_parsed);

35
2018-06-13 18:38


asal


Jawaban:


Sejauh yang saya tahu, Anda harus menulis lingkaran itu sendiri. Sesuatu seperti ini (diambil langsung dari pohon sumber saya):

public final class LuceneUtils {

    public static List<String> parseKeywords(Analyzer analyzer, String field, String keywords) {

        List<String> result = new ArrayList<String>();
        TokenStream stream  = analyzer.tokenStream(field, new StringReader(keywords));

        try {
            while(stream.incrementToken()) {
                result.add(stream.getAttribute(TermAttribute.class).term());
            }
        }
        catch(IOException e) {
            // not thrown b/c we're using a string reader...
        }

        return result;
    }  
}

35
2018-06-13 19:11



Berdasarkan jawaban di atas, ini sedikit dimodifikasi untuk bekerja dengan Lucene 4.0.

public final class LuceneUtil {

  private LuceneUtil() {}

  public static List<String> tokenizeString(Analyzer analyzer, String string) {
    List<String> result = new ArrayList<String>();
    try {
      TokenStream stream  = analyzer.tokenStream(null, new StringReader(string));
      stream.reset();
      while (stream.incrementToken()) {
        result.add(stream.getAttribute(CharTermAttribute.class).toString());
      }
    } catch (IOException e) {
      // not thrown b/c we're using a string reader...
      throw new RuntimeException(e);
    }
    return result;
  }

}

53
2018-03-05 07:03