要求

1. 词法分析程序需要能够识别出输入文本中的单词并将其标记为特定的类别；
2. 具体而言需要根据用户定义的词法规则来对文本进行分析从而得出相应的结果。
3. 该程序可以在一个大型机上运行也可以在一台小型PC上运行。
4. 由于不同的文本样式会对词法分析产生影响（例如大小写、标点等）因此必须对用户输入的文本进行适当处理才能使之能够正常工作。
5. 除此之外还需要为用户定义一套明确、可重复使用的测试数据集来测试所开发的语法分析器是否能够正常工作。