如何在转换过程中跟踪字符串中的原始字符位置?

我的反剽窃项目。这包括检测计算机科学课程(编程作业)中的剽窃行为,通过一种描述的技术 "Winnowing: Local Algorithms for Document Fingerprinting."

public class MyClass
{
    public static void main(String[] args)
    {
        // declare a variable called someVar
        int someVar = 0;
    }
}

这需要通过一个前端的词法分析部分来去除我们不想要的代码的特性。在这个例子中,我想重命名所有 标识符名称 到恒定的“V”和剥去所有 从密码里。

ANTLR 以及各种语言的现有语法来生成适当的lexer。

最终结果是:

public class V
{
    public static void V(String[] V)
    {
        int V = 0;
    }
}

然后去掉所有空白,得到:

publicclassV{publicstaticvoidV(String[]V){intV=0;}}

然后,这个字符串被分解成一个预设大小的k-gram。例如,假设k=5(实际上它会更大):

publi ublic blicc liccl iccla ... =0;}}

问题是:

每一个k-gram被一个滚动散列函数散列,并且应该用它们的 原始字符位置

如何在所有的前端剥离标识符、注释和空白处跟踪k-grams在源文本中的原始位置?