lucene.net中的URL应该使用什么分析器?

public class MyAnalyzer extends Analyzer {

public MyAnalyzer() {
    super();
}

public TokenStream tokenStream(String fieldName, Reader reader) {
    TokenStream result = new MyUrlTokenizer(reader);
    result = new LowerCaseFilter(result);
    result = new StopFilter(result);
    result = new SynonymFilter(result);

    return result;
}

}

URLTokenizer在/、-0和其他任何您想要的位置拆分。Nutch可能也有一些相关的代码,但我不知道是否有.NET版本。

请注意,如果URL具有不同的字段名,则可以修改上述代码,默认情况下使用StandardTokenizer,否则使用UrlTokenizer。

例如

public TokenStream tokenStream(String fieldName, Reader reader) {
    TokenStream result = null;
            if (fieldName.equals("url")) {
                  result = new MyUrlTokenizer(reader);
            } else {
                  result = new StandardTokenizer(reader);
            }