Проецирование правила на код на основе ebnf

[Shopin-Igor]

Java исходниик 1

public class AST {
    public int sum(int a, int b) {
        if(a == b){return 2 * a;}
        return a + b;
    }
}

Java исходниик 2

public class AST {
    public int sum(int a, int b) {
        if (a == b) 
        {return 2 * a;}
        return a + b;
    }
}

Правило для форматирования для элемента AST дерева:

<ifStmt> ::= IfStmt(
                  condition = <expr>,
                  thenStmt  = BlockStmt(statements = [ <stmt>* ]),
                  elseStmt? = BlockStmt(statements = [ <stmt>* ])
                );

definition of done:

• описанное на ebnf правило для форматирования применяется на Java исходниик 1 и получается Java исходниик 2

[alexeyklimov]

Грамматики для генерации парсеров

• На ebnf можно записать грамматику для ebnf: https://github.com/antlr/grammars-v4/blob/master/ebnf/bnf.g4
• еbnf - не единственный способ записать грамматику формального языка. Примеры других языков описания грамматик:
  • JavaCC DSL
  • TreeSitter DSL
  • Yacc DSL
  • Bison DSL
  • Множество других - список

Существующие грамматики для генерации парсера Java:

• https://github.com/tree-sitter/tree-sitter-java/blob/master/grammar.js
• https://github.com/javaparser/javaparser/blob/master/javaparser-core/src/main/javacc/java.jj
• https://github.com/antlr/grammars-v4/blob/master/java/java/JavaParser.g4

[Shopin-Igor]

ebnf правило -> ParseTree (класс из библиотеки org.antlr.v4.runtime.tree.ParseTreelr) -> AST

Есть AST дерево, полученное Java Parser

public class AST {
    public int sum(int a, int b) {
        if (a == b){return 2 * a;}
        return a + b;
        }
}

AST дерево:

Java compilaton Unit
    AST
        sum
            input: int a, int b
            body 
                ifStatement
                    expr
                    thenBlock
                    elseBBlock
                returnStatement
            <!-- out_type: int -->

как делать обход:

0. идём в корень (Java compilaton Unit)
1. попали в вершину AST Java Parser, смотрим есть ли правило форматирования для неё (есть ли по ключу вершины в хэш таблице правило)
   • если да - форматируем (применяем AST для ebnf правила на вершину)
2. идём на шаг 1 для каждого ребёнка

хэш таблица:

ключ значение
IfStatement AST по правилу (IfStatement
: IF ' ' '(' expr ')' " \n" statement ELSE statement
;)

"применяем AST ebnf правило на вершину" - переписываем дерево. Как это делается?

Что уже есть:

• хэш мапа с получением по вершине (AST Java Parser) AST правила (было изначально в ebnf), описывающее какую-то конструкцию
• AST Java Parser (которое содержит много информации, в том числе выделяет IfStatement'ы и другие типы полей + можно детектить whitespace'ы, если включить определённую настройку)
• словарь захватов (структура по захвату одинчных узлов (выражена хэшмапой: по строке лежи AstNode), структура по захвату повторяющихся частей или набора statement'ов (выражена хэшмапой: по строке лежит список AstNode)), обычно называют bindings

Этапы:

1. Матчинг (проверка)
   • совпадает ли тип узла
   • совпадает ли условия
   • совпадает ли структура детей
   • всё ли ок по словарю захватов
2. Строится новое отформатированное поддерево AST по словарю захватов и подменяем им изначальное неотформатированное поддерево