joetjen.net
EN DE
Grammatiksprache

Die Grammatiksprache Aether

Aether beschreibt eine Sprache vollständig in einer Datei: ihre Tokens, ihre Syntax, den Umgang mit Leerraum und welche Teile einer Übereinstimmung erhalten bleiben. Namen in Großbuchstaben sind Tokens, die ein Lexer erkennt; Namen in Kleinbuchstaben sind Regeln, die ein Parser über diesen Tokens erkennt.

Ichor 0.7

Ein erster Blick

Diese Grammatik liest eine kleine Einstellungsdatei — Zeilen der Form name = wert, mit Kommentaren:

settings.aether
@grammar "settings"
@root document
@skip TRIVIA

COMMENT := "#" (!"\n" .)*
TRIVIA  := (SPACE | COMMENT)*

TRUE   := "true"
FALSE  := "false"
NAME   := [a-z_] [a-z0-9_]*
NUMBER := DIGIT+
STRING := "\"" (!"\"" .)* "\""

document := entry*
entry    := key:NAME "=" value:value
value    := TRUE | FALSE | NUMBER | STRING
  • @grammar benennt die Grammatik und @root die Regel, bei der das Erkennen beginnt. Beide sind Pflicht, in dieser Reihenfolge.
  • @skip TRIVIA erlaubt Leerraum und Kommentare zwischen je zwei Teilen einer Regel sowie vor und nach der ganzen Eingabe.
  • COMMENT bis STRING sind Tokens. TRUE steht absichtlich vor NAME: Beide passen auf true, und das frühere gewinnt.
  • document, entry und value sind Regeln. Das "=" in Anführungszeichen wird ohne Deklaration zu einem eigenen Token.
  • key: und value: benennen die Teile eines Eintrags, auf die es bei der Weiterverarbeitung ankommt.
# service
port = 8080
debug = true
name = "api"
ok
true = 1
1:1: unexpected "true" -- expected NAME
1 | true = 1
  | ^

Gestaltung

  • Lexer und Parser in einer Datei. Die Schreibweise entscheidet, was was ist; eine getrennte Token-Datei, die man synchron halten müsste, gibt es nicht.
  • Immer zwei Stufen. Tokens nehmen die längste Übereinstimmung, Regeln die erste passende Alternative — jede Stufe behält ihre eigene einfache Regel.
  • Leerraum ist eine Einstellung, keine Fleißarbeit. Ein Pragma macht jede Regel tolerant dafür; ein Präfix verbietet ihn dort, wo zwei Teile aneinanderstoßen müssen.
  • Nur Syntax. Eine Grammatik sagt, was gültig ist, und benennt die Teile; was sie bedeuten, wird anderswo entschieden.
  • Notausgänge, deutlich markiert. Wo eine Sprache ihre Syntax mitten in der Datei ändert, übergibt @native ein Token oder eine Regel an handgeschriebenen Code.

Eckdaten

EigenschaftWert
Endung.aether
KodierungUTF-8; Namen sind ASCII, Zeichenketten und Klassen dürfen jedes Zeichen enthalten
Kopf@grammar "name", dann @root regel — Pflicht, in dieser Reihenfolge
Kommentare; bis zum Zeilenende
ErgebnisEin Lexer und ein Parser — standardmäßig PEG, auf Wunsch LR oder GLR
ImplementierungenIchor in Elixir als Referenz und seine Portierung nach Praxis — siehe unten

Implementierungen

ImplementierungSpracheVersionLiest .aether mit
Ichor, die ReferenzElixir0.7.3 auf hex.pm, mit ichor_runtime 0.6.3Aether.Lexer, Aether.Reader
die Praxis-Portierung, libs_prx/ichor im Praxis-RepositoryPraxis0.7.0, nicht eigenständig veröffentlicht: Ichor 0.6.0 plus ein Schritt, der Wechsel nach Praxis; die Version zieht mit jedem Elixir-Release nachichor.aether.lexer, ichor.aether.reader

Ichors README beginnt mit einer Warnung: Die Bibliothek ist in starker Entwicklung und vor 1.0.0 nicht für den Produktiveinsatz gedacht. Bis dahin können sich die Bibliothek und die Sprache, die sie liest, zwischen zwei beliebigen Releases ändern; deshalb ist Aether hier als in Entwicklung markiert.

Die Portierung ist eine Neuimplementierung, kein Fork: dieselben drei Engines, dieselben fünf Importer und dieselbe VM, in Praxis geschrieben. Beide Reader sind handgeschrieben, und jeder wird durch einen eigenen Test an dieselbe Aether-in-Aether-Grammatik gebunden. Die Ichor Conformance Suite, vorerst im Praxis-Workspace, gibt jeder Implementierung dieselben Grammatiken und Eingaben und vergleicht die Bäume und Fehler, die herauskommen — interpretiert wie generiert.

In Aether geschrieben

GrammatikDefiniertGenutzt von
casc.aetherdas Konfigurationsformat CASC — Grammatikcooper und seine Praxis-Portierung; node-cooper und php-cooper folgen ihr von Hand
dxn.aetherdas DXN-Textformat — Grammatikdextrin und seine Praxis-Portierung
praxis.aetherdie Oberfläche der Sprache Praxis, die Referenz für ihren ReaderPraxis
logos.aetherden Reader von Logos, einem Lisp nach Art von Clojurelogos
grammar.aetherProlog-Klauseln, mit op/3-Direktiven, die die Operatortabelle mitten in der Datei ändernaletheia
quire.aetherwohlgeformtes Markup mit {{ … }}-Lückenquire, eine Praxis-Bibliothek
xeger.aetherreguläre Ausdrückexeger
abnf.aether …ABNF, BNF, ISO- und W3C-EBNF und PEGdie Importer beider Ichor-Implementierungen

Auf diesen Seiten

  • Aufbau — Kopf, Pragmas, Kommentare, Namen, Definitionen und vordefinierte Tokens.
  • Ausdrücke — Operatoren, Zeichenketten, Zeichenklassen, Wiederholung, Vorausschau und Regex-Literale.
  • Lexen und Parsen — längste Übereinstimmung, geordnete Auswahl, Leerraum, Erfassungen, Layout, Engines und Fehlermeldungen.
  • Notausgänge — @keywords, @refine und @native.
  • Grammatik — Aether in Aether geschrieben, die Grammatik, an der beide Implementierungen ihre Reader prüfen.