joetjen.net
EN DE
Grammatiksprache

Grammatik

Beide Implementierungen lesen .aether-Dateien mit einem handgeschriebenen Lexer und Reader. Die folgende Grammatik formuliert dieselbe Syntax in Aether selbst, und beide prüfen ihre Reader daran.

Ichor 0.7

Pragmas und Tokens

Diese Grammatik wurde für diese Seiten aus Aether.Lexer und Aether.Reader in Ichor 0.3.0 geschrieben. Seit Ichor 0.3.1 gehört dieselbe Grammatik, Zeichen für Zeichen, als guides/aether/AETHER_GRAMMAR.md zu Ichors Dokumentation, und die Praxis-Portierung führt sie in ihrem Tutorial; der Text unten ist aus Ichor 0.7.3 zitiert. In beiden kompiliert ein Test sie und prüft, dass sie genau das akzeptiert, was der Reader akzeptiert — für jede .aether-Datei im Repository und für eine Reihe fehlerhafter.

Erneut mit Ichor 0.7.3 geprüft, stimmt sie bei allen 55 Aether-Grammatiken in den Repositories von Ichor, Cooper, dextrin, logos, xeger, aletheia und Praxis mit Ichors Reader überein.

aether.aether
@grammar "aether"
@root grammar_file
@skip TRIVIA

COMMENT := ";" (!"\n" .)*
TRIVIA  := (SPACE | COMMENT)*

UPPER_NAME := [A-Z_] [A-Z0-9_]*
LOWER_NAME := [a-z] [a-z0-9_\-]*
NUMBER     := DIGIT+

ESCAPE     := "\\" ("x" HEX HEX | "u{" HEX+ "}" | [nrt] | [^a-zA-Z0-9])
STRING     := "\"" (ESCAPE | !"\"" .)* "\"" (("cs" | "i") ![a-zA-Z0-9_] | !"cs" !"i")
POSIX      := "[:" ("alpha" | "alnum" | "digit" | "space" | "hex") ":]"
CHAR_CLASS := "[" "^"? (POSIX | ESCAPE | !"]" .)* "]"
REGEX      := "/" ("\\" . | "[" ("\\" . | !"]" .)* "]" | ![/\[] .)* "/"

Kopf und Definitionen

grammar_file := header definition*

header := "@grammar" name:STRING "@root" root:LOWER_NAME pragma*
pragma := "@skip" UPPER_NAME | "@noskip" | "@case_insensitive" | "@engine" LOWER_NAME

definition   := token_def | rule_def | keywords_def
token_def    := UPPER_NAME ":=" choice refine?
rule_def     := LOWER_NAME ":=" choice
keywords_def := "@keywords" UPPER_NAME "{" keyword ("," keyword)* "}"
keyword      := STRING "->" UPPER_NAME
refine       := "@refine" "(" STRING "," STRING ("," UPPER_NAME)* ")"

sequence hält vor NAME := an. Diese Vorausschau ist der ganze Grund, warum eine Definition kein Abschlusszeichen braucht.

grammar_file hat an keinem Ende ein TRIVIA?, obwohl eine Datei mit einem Kommentar beginnen und mit einem Zeilenumbruch enden darf: Jede Engine entfernt Skip-Tokens vor dem ersten und nach dem letzten Token. Bis Ichor 0.5 stand in der Grammatik, und auf diesen Seiten, noch TRIVIA? header definition* TRIVIA?; Ichor 0.6 hat es gestrichen. Beide Formen stimmen bei denselben 55 Dateien mit dem Reader überein.

Ausdrücke

choice     := sequence ("|" sequence)*
sequence   := (!def_head item)+
def_head   := (UPPER_NAME | LOWER_NAME) ":="
item       := "~"? term
term       := (LOWER_NAME ":")? postfix
postfix    := ("&" | "!") primary | primary quantifier?
quantifier := "*" | "+" | "?" | "{" NUMBER ("," NUMBER?)? "}"
primary    := STRING | CHAR_CLASS | REGEX | "." | UPPER_NAME | LOWER_NAME
            | "(" choice ")" | layout | native

layout     := ("@indent" | "@samecol") ("(" choice ")" | postfix)
native     := "@native" "(" STRING "," STRING ("," LOWER_NAME)* ")" hint?
hint       := "@hint" "(" hint_entry ("," hint_entry)* ")"
hint_entry := LOWER_NAME ":" (LOWER_NAME | "(" (LOWER_NAME ("," LOWER_NAME)*)? ")")

Jenseits der Syntax

Beide Reader prüfen mehr, als diese Grammatik ausdrücken kann. Sie lehnen außerdem ab:

  • eine Zeichenklasse, . oder /regex/ in einer Regel und einen Regelnamen in einem Token;
  • eine name:-Erfassung in einem Token;
  • ~ an jeder Stelle außer direkt vor einem bloßen Namen, in einem Token oder unter @noskip;
  • ein doppelt angegebenes Pragma, @skip zusammen mit @noskip und eine @engine außer peg, lr oder glr;
  • einen doppelt deklarierten Namen und @keywords zusammen mit @refine auf einem Token;
  • in @hint andere Schlüssel als nullable und leading, leading: an einem Token und einen leading:-Namen, der keine Abhängigkeit ist.

Undefinierte Verweise, neu deklarierte vordefinierte Tokens und Linksrekursion werden geprüft, wenn die ganze Grammatik gelesen ist.

Wo die Implementierung abweicht

Seit Ichor 0.6 in nichts, was diese Seiten kennen. Bis Ichor 0.5.1 stand hier eine Tabelle mit einem Unterschied: Die Referenz sagte, beide Backends führten jede @engine aus, während Grammar.VM nur peg ausführt und den Rest ablehnt. So verhält sich Ichor weiterhin, und seit 0.6.0 sagt die Referenz es auch — interpretiert führen Grammar.LR und Grammar.GLR die beiden anderen aus; generiert übernimmt der Parser seine Engine aus @engine, siehe Engines.

Bis Ichor 0.3.0 hatte die Tabelle eine zweite Zeile: Eine Erfassung im Token-Rumpf wurde akzeptiert und brachte dann den Matcher zum Absturz. Seit 0.3.1 lehnt der Reader sie ab, wie es die Referenz immer gesagt hat.