解析器和lexer的设计指南?

我正在编写一个lexer(带有re2c)和一个解析器(带有lemon),用于稍微复杂的数据格式:类似csv,但在特定位置具有特定的字符串类型(仅限字母数字字符、字母数字字符和减号、除引号和逗号之外的任何字符,但带有平衡大括号等)、大括号内的字符串以及类似函数调用的字符串。带有可包含参数的左大括号和右大括号。

我的第一张照片是一个有许多州的lexer,每个州都适合特定的字符串格式。但是,在lexer发出了许多无用的“意外输入”消息(消息变得很大)之后,我意识到它可能正试图完成解析器的工作。我放弃了第一次尝试,使用了一个只有一个状态、许多字符标记的lexer,以及一个将标记组合成不同字符串类型的解析器。这样做效果更好,当关闭某个选项时,我会从解析器中得到更多有用的语法错误,但仍然感觉不太对劲。我正在考虑向lexer添加一个或两个状态,但是从解析器启动状态,解析器有一个更好的“概述”,在给定的实例中需要哪些字符串类型。总的来说,我觉得有点笨:(

我没有正式的CS背景,对数学重理论有点害羞。但是也许在某个地方有一个教程或书可以解释lexer应该(和不应该)做什么,以及解析器应该做什么工作。如何构造好的令牌模式,何时使用lexer状态,何时以及如何使用递归规则(使用lalr解析器),如何避免不明确的规则。讲授基础知识的实用食谱。“lex和yacc primer/howto”不错,但还不够。因为我只想解析数据格式,所以关于编译器构建的书籍(比如红龙书)对我来说有点过大。

或者有人可以给我一些简单的规则。