日期:2014-05-16  浏览次数:20587 次

hive中antlr语法文件的编译
最近项目需要想用到hive中antlr的sql语法解析做二次开发,之前看hive源码的时候编译过,也遇到不少问题,现在居然忘了,看来好记性不如烂笔头,差记性就更加得多写写了。

编译是在windows xp环境下进行的,下载所需要的文件如下:



    antlr-2.7.7.jar

    antlr-3.0.1.jar

    stringtemplate-3.1b1.jar

    Hive.g



文件放在目录C:\hive\BAK目录下,DOS命令行进入到目录,输入:
C:\hive\BAK>java -cp antlr-2.7.7.jar;antlr-3.0.1.jar;stringtemplate-3.1b1.jar or
g.antlr.Tool Hive.g

会输出:
ANTLR Parser Generator  Version 3.0.1 (August 13, 2007)  1989-2007
warning(200): Hive.g:1461:5: Decision can match input such as "Identifier DOT Id
entifier" using multiple alternatives: 1, 2
As a result, alternative(s) 2 were disabled for that input

再看目录下会增加几个文件
HiveParser.java
Hive.tokens
Hive__.g
HiveLexer.java

  HiveLexer.java和 HiveParser.java分别是生成的对应词法和语法分析类文件
  Hive__.g对应HiveLexer.java的词法分析规范
  Hive.tokens定义了词法分析后的所有token

需要说明的是antlr-3.0.1.jar是在antlr-2.7.7.jar的基础上进行的开发,有依赖关系。

编译中遇到的错误:
1、有帖子说编译格式为:
C:\hive\BAK>java antlr.Tool Hive.g
ANTLR Parser Generator   Version 2.7.7 (20060906)   1989-2005
Hive.g:17:1: unexpected token: grammar
error: Token stream error reading grammar(s):
Hive.g:247:1: unexpected char: '@'
Hive.g:17:1: rule classDef trapped:
Hive.g:17:1: unexpected token: grammar
error: aborting grammar 'unknown grammar' due to errors
TokenStreamException: unexpected char: '@'

原因是没有找到对应版本的jar包,应该运行是antlr-3.0.1.jar,而且antlr-3.0.1.jar对应Tool的目录是org.antlr.Tool

2、编译时没有加classpath
C:\hive\BAK>java org.antlr.Tool Hive.g
Exception in thread "main" java.lang.NoClassDefFoundError: org/antlr/Tool


3、NoClassDefFoundError错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/antlr/stringtempl
ate/StringTemplateErrorListener
        at org.antlr.Tool.main(Tool.java:67)

是因为用到的stringtemplate-3.1b1.jar包没有导入到classpath中

总的来说antlr和flex+yacc比较像,使用起来还算比较方便,细心点就行~