Como construir um compilador utilizando ferramentas - ICMC

Como construir um compilador utilizando
ferramentas Java
Aula 5 – Análise Léxica com JavaCC
Prof. Márcio Delamaro
delamaro@icmc.usp.br
Como construir um compilador utilizando ferramentas Java – p. 1/3
O que é o JavaCC
Ambiente ou ferramenta que permite a geração de um
analisador sintático completo
Como construir um compilador utilizando ferramentas Java – p. 2/3
O que é o JavaCC
Ambiente ou ferramenta que permite a geração de um
analisador sintático completo
A partir de uma descrição de alto nível gera código Java
Como construir um compilador utilizando ferramentas Java – p. 2/3
O que é o JavaCC
Ambiente ou ferramenta que permite a geração de um
analisador sintático completo
A partir de uma descrição de alto nível gera código Java
Dentro de um só arquivo permite definir AL e AS
Como construir um compilador utilizando ferramentas Java – p. 2/3
O que é o JavaCC
Ambiente ou ferramenta que permite a geração de um
analisador sintático completo
A partir de uma descrição de alto nível gera código Java
Dentro de um só arquivo permite definir AL e AS
Permite também a construção da árvore sintática
Como construir um compilador utilizando ferramentas Java – p. 2/3
Como funciona
langx.jj
JavaCC
Como construir um compilador utilizando ferramentas Java – p. 3/3
Como funciona
sort.x
langx.jj
JavaCC
sort.jas
Como construir um compilador utilizando ferramentas Java – p. 4/3
Como funciona
Como construir um compilador utilizando ferramentas Java – p. 5/3
Partes do arquivo jj
Opções
Declaração da classe principal
Declarações do AL
Declarações do AS
Como construir um compilador utilizando ferramentas Java – p. 6/3
Partes do arquivo jj
options {
STATIC = false;
}
PARSER_BEGIN(Test)
public class Test {
}
PARSER_END(Test)
SKIP :
{
" "
}
JAVACODE void program()
{
}
Como construir um compilador utilizando ferramentas Java – p. 7/3
A classe principal
tests2.jj
PARSER_BEGIN(Test)
public class Test {
static public void main(String args[]) {
System.out.printf("Hello world!");
}
}
PARSER_END(Test)
Como construir um compilador utilizando ferramentas Java – p. 8/3
A classe principal
Como construir um compilador utilizando ferramentas Java – p. 9/3
A classe principal: langx++.jj
PARSER_BEGIN(langX)
package parser; /* declaração de pacote */
import java.io.*; /* imports necessários */
public class langX {
...
}
PARSER_END(langX)
Como construir um compilador utilizando ferramentas Java – p. 10/3
Variáveis da classe
...
public class langX {
final static String Version = "X++ Compiler - Version 1.0 - 2004";
boolean Menosshort = false; // saı́da resumida = falso
...
}
Como construir um compilador utilizando ferramentas Java – p. 11/3
Método principal: variáveis locais
...
public class langX {
// Define o método "main" da classe langX.
public static void main(String args[]) throws ParseException
{
String filename = ""; // nome do arquivo a ser analisado
langX parser;
// analisador léxico/sintático
int i;
boolean ms = false;
System.out.println(Version);
...
}
Como construir um compilador utilizando ferramentas Java – p. 12/3
Método principal: ler argumentos
public class langX {
public static void main(String args[]) throws ParseException
{
...
// lê os parâmetros passados para o compilador
for (i = 0; i < args.length - 1; i++)
{
if ( args[i].toLowerCase().equals("-short") )
ms = true;
else
{
System.out.println("Usage is: java langX [-short] " +
"inputfile");
System.exit(0);
}
}
...
}
Como construir um compilador utilizando ferramentas Java – p. 13/3
Método principal: ler nome arquivo
public static void main(String args[]) throws ParseException
{
...
if (args[i].equals("-")) {
// lê da entrada padrão
System.out.println("Reading from standard input . . .");
parser = new langX(System.in);
}
else { // lê do arquivo
filename = args[args.length-1];
System.out.println("Reading from file " + filename + " . . .");
try {
parser = new langX(new java.io.FileInputStream(filename));
}
catch (java.io.FileNotFoundException e) {
System.out.println("File " + filename + " not found.");
return;
}
}
...
}
Como construir um compilador utilizando ferramentas Java – p. 14/3
Criação do AS
if (args[i].equals("-")) {
// lê da entrada padrão
System.out.println("Reading from standard input . . .");
parser = new langX(System.in);
}
else { // lê do arquivo
filename = args[args.length-1];
System.out.println("Reading from file " + filename + " . . .");
try {
parser = new langX(new java.io.FileInputStream(filename));
}
catch (java.io.FileNotFoundException e) {
System.out.println("File " + filename + " not found.");
return;
}
}
Como construir um compilador utilizando ferramentas Java – p. 15/3
Execução e finalização
public static void main(String args[]) throws ParseException
{
...
parser.Menosshort = ms;
parser.program();
// chama o método que faz a análise
// verifica se houve erro léxico
if ( parser.token_source.foundLexError() != 0 )
System.out.println(parser.token_source.foundLexError() +
" Lexical Errors found");
else
System.out.println("Program successfully analyzed.");
}
O AS “possui” um AL. O AL é definido pelo usuário
(algumas coisas).
Como construir um compilador utilizando ferramentas Java – p. 16/3
Classe principal: outros métodos
public class langX {
public static void main(String args[]) throws ParseException
{
...
}
static public String im(int x)
{
int k;
String s;
s = tokenImage[x];
k = s.lastIndexOf("\"");
try {s = s.substring(1,k);}
catch (StringIndexOutOfBoundsException e)
{}
return s;
}
Como construir um compilador utilizando ferramentas Java – p. 17/3
Descrição do AL
A descrição do analisador léxico é dividida em duas partes:
código Java a ser inserido na classe do AL;
descrição dos itens léxicos;
Como construir um compilador utilizando ferramentas Java – p. 18/3
Código Java
TOKEN_MGR_DECLS :
{
int countLexError = 0;
public int foundLexError()
{
return countLexError;
}
}
Como construir um compilador utilizando ferramentas Java – p. 19/3
SKIP
Todas as definições nesta seção utilizam a representação
de expressões regulares. A palavra SKIP indica ao JavaCC
que desejamos definir quais são as cadeias que devem ser
ignoradas.
SKIP :
{
"
|
|
|
|
"
"\t"
"\n"
"\r"
"\f"
}
Como construir um compilador utilizando ferramentas Java – p. 20/3
TOKEN: palavras reservadas
TOKEN é utilizada para definir, por meio de expressões
regulares, quais as cadeias a serem reconhecidas e quais
os tipos de tokens que a elas correspondem.
TOKEN :
{
< BREAK: "break" >
| < CLASS: "class" >
| < CONSTRUCTOR: "constructor" >
| < ELSE: "else" >
| < EXTENDS: "extends" >
| < FOR: "for" >
...
| < PRINT: "print" >
| < READ: "read" >
| < RETURN: "return" >
| < STRING: "string" >
| < SUPER: "super" >
}
Como construir um compilador utilizando ferramentas Java – p. 21/3
Conflitos
AL é construído de modo que a maior cadeia possível seja
reconhecida. Por isso não há nenhum problema quanto a
uma Expressão Regular poder gerar subcadeias de outra
Expressão Regular. Sempre será considerada a maior
cadeia da entrada que casar com alguma expressão
regular. Isso acontece, por exemplo, a seguir com os tokens
GT e GE. Se a entrada possuir um string >=, este será
identificado como um GE, mas se possuir um > apenas,
então GT será o casamento realizado.
Como construir um compilador utilizando ferramentas Java – p. 22/3
TOKEN: operadores
TOKEN :
{
<
|
|
|
|
|
|
|
|
|
|
|
ASSIGN: "=" >
< GT: ">" >
< LT: "<" >
< EQ: "==" >
< LE: "<=" >
< GE: ">=" >
< NEQ: "!=" >
< PLUS: "+" >
< MINUS: "-" >
< STAR: "*" >
< SLASH: "/" >
< REM: "%" >
}
Como construir um compilador utilizando ferramentas Java – p. 23/3
TOKEN: outros símbolos
TOKEN :
{
<
|
|
|
|
|
|
|
|
LPAREN: "(" >
< RPAREN: ")" >
< LBRACE: "{" >
< RBRACE: "}" >
< LBRACKET: "[" >
< RBRACKET: "]" >
< SEMICOLON: ";" >
< COMMA: "," >
< DOT: "." >
}
Como construir um compilador utilizando ferramentas Java – p. 24/3
TOKEN: constantes inteiras
TOKEN :
{ // números decimais, octais, hexadecimais ou binários
< int_constant:(
(["0"-"9"] (["0"-"9"])* )
|
(["0"-"7"] (["0"-"7"])* ["o", "O"] )
|
(["0"-"9"] (["0"-"7","A"-"F","a"-"f"])* ["h", "H"] )
|
(["0"-"1"] (["0"-"1"])* ["b", "B"])
) >
}
Como construir um compilador utilizando ferramentas Java – p. 25/3
Constantes inteiras
123afhoje
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
também é uma constante hexadecimal;
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
também é uma constante hexadecimal;
7620OO
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
também é uma constante hexadecimal;
7620OO
é uma constante octal seguida por um identificador O;
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
também é uma constante hexadecimal;
7620OO
é uma constante octal seguida por um identificador O;
1011tb10b
Como construir um compilador utilizando ferramentas Java – p. 26/3
Constantes inteiras
123afhoje
constante inteira 123afh seguida de um identificador oje;
0baCh
também é uma constante hexadecimal;
7620OO
é uma constante octal seguida por um identificador O;
1011tb10b
constante decimal 1011 seguida pelo identificador
tb10b.
Como construir um compilador utilizando ferramentas Java – p. 26/3
String constante
Inicia com aspas
Seqüência de quaisquer caracteres (quaisquer ???).
Termina com aspas
Como definir ?
Como construir um compilador utilizando ferramentas Java – p. 27/3
TOKEN: constantes string, null
TOKEN :
{ // constante string como "abcd bcda"
< string_constant:
"\""( ˜["\"","\n","\r"])* "\"" >
|
< null_constant: "null" > // constante null
}
Como construir um compilador utilizando ferramentas Java – p. 28/3
TOKEN: identificadores
Os identificadores são definido como sendo iniciados por
uma letra, seguida por letras ou dígitos.
TOKEN :
{
< IDENT: <LETTER> (<LETTER>|<DIGIT>)* >
|
< #LETTER:["A"-"Z","a"-"z"] >
|
< #DIGIT:["0"-"9"] >
}
Foram utilizados dois tokens #LETTER e #DIGIT para
definir IDENT. Esses tokens não são utilizados na
gramática da linguagem X ++ , mas servem como
auxiliares na definição do próprio AL.
Como construir um compilador utilizando ferramentas Java – p. 29/3
Conflitos II
for
Como construir um compilador utilizando ferramentas Java – p. 30/3
Conflitos II
for
class
Como construir um compilador utilizando ferramentas Java – p. 30/3
Conflitos II
for
class
Definir prioridade
Como construir um compilador utilizando ferramentas Java – p. 30/3
Conflitos II
for
class
Definir prioridade
A definição que aparecer primeiro tem maior prioridade
Como construir um compilador utilizando ferramentas Java – p. 30/3
O que o AL produz: Token
int kind; Contém o tipo do token reconhecido. Cada
um dos tokens descritos no arquivo .jj como IF ou
IDENT é definido na classe langXConstants como
sendo uma constante inteira. Assim, supondo que
langXConstants.IDENT foi definido com o valor 9,
então ao reconhecer um identificador, o AL irá produzir
um objeto Token cuja variável kind tem o valor 9;
int beginLine, beginColumn, endLine,
endColumn; Essas variáveis indicam, respectivamente,
a linha e a coluna dentro do arquivo de entrada, onde se
inicia e onde termina o token reconhecido;
Como construir um compilador utilizando ferramentas Java – p. 31/3
O que o AL produz: Token
String image; É a cadeia que foi lida e reconhecida
como token. Por exemplo, se a cadeia func10 foi lida na
entrada e reconhecida como um IDENT, então essa
variável contém a cadeia lida, ou seja, func10;
Token next; Uma referência para o próximo token
reconhecido após ele. Se o AL ainda não leu nenhum
outro token ou se esse é o último token da entrada,
então seu valor é null;
Token specialToken; É um apontador para o último
token especial reconhecido antes deste. Veja mais
adiante os comentários sobre o que são os tokens
especiais.
Como construir um compilador utilizando ferramentas Java – p. 32/3
Comentários
Comentário não é um item léxico;
Como construir um compilador utilizando ferramentas Java – p. 33/3
Comentários
Comentário não é um item léxico;
Pode aparecer em qualquer ponto do programa;
Como construir um compilador utilizando ferramentas Java – p. 33/3
Comentários
Comentário não é um item léxico;
Pode aparecer em qualquer ponto do programa;
a = b.myMethod(10, /* comentário */ c) + 2;
Como construir um compilador utilizando ferramentas Java – p. 33/3
Comentários
Comentário não é um item léxico;
Pode aparecer em qualquer ponto do programa;
a = b.myMethod(10, /* comentário */ c) + 2;
Deve ser tratado pelo AL;
Como construir um compilador utilizando ferramentas Java – p. 33/3
Comentários
Comentário não é um item léxico;
Pode aparecer em qualquer ponto do programa;
a = b.myMethod(10, /* comentário */ c) + 2;
Deve ser tratado pelo AL;
Por exemplo, ignorar.
Como construir um compilador utilizando ferramentas Java – p. 33/3
Comentários
Comentários multilinha /* ... */
Linha única // ....
AL simplesmente ignora
Usamos conceito de estado, característica do JavaCC
Como construir um compilador utilizando ferramentas Java – p. 34/3
Definição de comentários
SKIP : {
"/*": multilinecomment
}
Como construir um compilador utilizando ferramentas Java – p. 35/3
Definição de comentários
SKIP : {
"/*": multilinecomment
}
<multilinecomment> SKIP:
{
"*/": DEFAULT
| <˜[]>
}
Como construir um compilador utilizando ferramentas Java – p. 35/3
Definição de comentários
SKIP : {
"/*": multilinecomment
}
<multilinecomment> SKIP:
{
"*/": DEFAULT
| <˜[]>
}
Vale a regra de que sempre a maior cadeia possível é
utilizada no casamento. Como o segundo padrão tem
apenas um caractere, então ao aparecer a cadeia */, o
casamento é sempre feito no primeiro padrão.
Como construir um compilador utilizando ferramentas Java – p. 35/3
Erro léxico
Ao aparecer um item léxico não válido.
Como construir um compilador utilizando ferramentas Java – p. 36/3
Erro léxico
Ao aparecer um item léxico não válido.
AL gerado pelo JavaCC lança um “TokenMgrError ”
Como construir um compilador utilizando ferramentas Java – p. 36/3
Erro léxico
Ao aparecer um item léxico não válido.
AL gerado pelo JavaCC lança um “TokenMgrError ”
Isso faz com que a execução do AS termine.
Como construir um compilador utilizando ferramentas Java – p. 36/3
Erro léxico
Ao aparecer um item léxico não válido.
AL gerado pelo JavaCC lança um “TokenMgrError ”
Isso faz com que a execução do AS termine.
Gostaríamos de ignorar e continuar a análise
Como construir um compilador utilizando ferramentas Java – p. 36/3
Erro léxico
Ao aparecer um item léxico não válido.
AL gerado pelo JavaCC lança um “TokenMgrError ”
Isso faz com que a execução do AS termine.
Gostaríamos de ignorar e continuar a análise
Para isso devemos evitar que o AL identifique o erro
Como construir um compilador utilizando ferramentas Java – p. 36/3
Erro léxico
Ao aparecer um item léxico não válido.
AL gerado pelo JavaCC lança um “TokenMgrError ”
Isso faz com que a execução do AS termine.
Gostaríamos de ignorar e continuar a análise
Para isso devemos evitar que o AL identifique o erro
Ou seja, qualquer outro símbolo que aparecer, deve ser
tratado.
Como construir um compilador utilizando ferramentas Java – p. 36/3
Exercícios
Estudar no livro a implementação do comentário de
linha única.
Estudar no livro a implementação da recuperação de
erro léxico.
Baixar o arquivo do Capítulo 3. Gerar o “compilador” e
executar com os programas exemplos que você
desenvolveu (sort, bintree, etc).
Como construir um compilador utilizando ferramentas Java – p. 37/3