Grammatik
Das DXN-Textformat ist durch eine PEG-Grammatik in Aether definiert, der Grammatiksprache von Ichor. Der Parser von dextrin wird daraus erzeugt statt von Hand geschrieben.
Pragmas und Tokens
Dies ist die Grammatik, aus der der Parser von dextrin erzeugt wird: priv/grammar/dxn.aether, wie mit dextrin 0.3.2 veröffentlicht, ohne Kommentare. Namen in Großbuchstaben sind Tokens, längste Übereinstimmung zuerst, bei Gleichstand gewinnt die frühere Deklaration; Namen in Kleinbuchstaben sind Regeln, die per geordneter Auswahl über den Tokens arbeiten.
@grammar "dxn"
@root document
@skip TRIVIA
SPACE := [ \t\r\n,]+
COMMENT := "#" (!"\n" .)* "\n"?
TRIVIA := (SPACE | COMMENT)*
NIL := "nil"
TRUE := "true"
FALSE := "false"
EXPONENT := [eE] [+-]? DIGIT+
FLOAT := ("-"? DIGIT+ (("." DIGIT+ EXPONENT?) | EXPONENT)) | "NaN" | "Infinity" | "-Infinity"
DECIMAL := "-"? DIGIT+ ("." DIGIT+)? "M"
RATIONAL := "-"? DIGIT+ "/" DIGIT+
INTEGER := "-"? DIGIT+
IDENT_START := [_\u{41}-\u{5A}\u{61}-\u{7A}\u{AA} … \u{30000}-\u{3134A}\u{31350}-\u{33479}]
IDENT_CONT := IDENT_START | [\u{30}-\u{39}\u{41}-\u{5A}\u{5F}\u{61}-\u{7A} … \u{E0100}-\u{E01EF}\-?!]
IDENTIFIER := IDENT_START IDENT_CONT* ("." IDENT_START IDENT_CONT*)* ("/" IDENT_START IDENT_CONT* ("." IDENT_START IDENT_CONT*)*)?
MAP_KEY := IDENTIFIER ":"
KEYWORD := ":" (IDENTIFIER | STRING)
AT_DISCARD := "@_"
AT := "@"
ESCAPE := "\\" ("\"" | "\\" | "n" | "t" | "r" | "0" | "a" | "b" | "f" | "v" | ("x{" HEX+ "}"))
STRING := "\"" (ESCAPE | (![\"\\] .))* "\""
CHAR := "?" (ESCAPE | "s" | (![ \t\r\n] .))Die Reihenfolge der Deklarationen leistet hier echte Arbeit. NIL, TRUE und FALSE stehen vor IDENTIFIER und gewinnen so den Gleichstand. MAP_KEY verschmilzt einen Namen mit seinem Doppelpunkt zu einem Token, damit name:value ohne Leerzeichen nie als Name mit folgendem Keyword :value gelesen wird. AT_DISCARD schlägt AT durch seine Länge, also ist @_ immer ein Verwerfen und nie ein eigenes Tag namens _.
Regeln
document := header? value TRIVIA?
header := "@dxn" version:STRING
value := discard* value_body
discard := AT_DISCARD value
value_body := nil | boolean | number | string | char | keyword | symbol
| list | tuple | map_lit | struct_lit | set_lit
| tag_form
nil := NIL
boolean := TRUE | FALSE
number := DECIMAL | RATIONAL | FLOAT | INTEGER
string := STRING
char := CHAR
symbol := IDENTIFIER
keyword := KEYWORD
list := "[" value* "]"
tuple := "{" value* "}"
set_lit := AT "{" value* "}"
map_lit := "%" "{" map_entry* "}"
map_entry := (short_key:MAP_KEY short_val:value) | (arrow_key:value "=>" arrow_val:value)
struct_lit := "%" name:IDENTIFIER ("(" version:INTEGER ")")? (keyed:struct_keyed | positional:struct_positional)
struct_keyed := "{" map_entry* "}"
struct_positional := "[" (value !"=>")* map_entry* "]"
tag_form := AT name:IDENTIFIER ("(" flags:IDENTIFIER ")")? valueJedes Datum, jede Uhrzeit und jeder reguläre Ausdruck ist eine tag_form mit einer Zeichenkette, und die Zeichenkette wird nach dem Parsen geprüft: dextrin gibt sie an die Parser der Host-Sprache und lehnt eine ab, die nicht die Form hat, die ihr Tag nennt. Weil "@dxn" überall im Dokument ein längeres Token ist als AT, nicht nur am Anfang, kann @dxn nie ein eigenes Tag sein.
Drei Dinge haben sich mit dextrin 0.3 geändert. Die vier Sigil-Tokens und ihre Regel sind entfallen, also beginnt ~ kein Token, und ein Sigil scheitert schon im Lexer. IDENTIFIER nimmt Segmente, verbunden durch .. Und tag_form nimmt einen optionalen Kopf in Klammern, so wie struct_lit eine Version nimmt: @regex(im). ( leitet in DXN sonst nichts ein und braucht daher kein eigenes Token; ob das Tag regex ist und die Buchstaben Flags sind, wird nach dem Parsen geprüft.
Wo die Implementierung abweicht
An einigen Stellen akzeptiert dextrin 0.3.2 mehr als die Spezifikation, schreibt etwas anderes, als sie sagt, oder legt etwas fest, das sie offenlässt. Dies sind die portablen Entscheidungen:
| Spezifikation | dextrin 0.3.2 | Schreibweise |
|---|---|---|
Ein Leser muss jede Kopfzeile 1.x akzeptieren und darf eine andere Hauptversion ablehnen | Jede Versionszeichenkette wird ungeprüft akzeptiert, auch "2.0" und "banana" | @dxn "1.0" |
@uri enthält eine URI nach RFC 3986 | Jede Zeichenkette wird akzeptiert: @uri "not a uri" wird gelesen | Nur echte URIs |
| Binäre Structs sind positionell, in Schema-Reihenfolge | Mit geladenem Schema sind sie das. Ohne Schema wird ein Struct mit Schlüsseln in Quellreihenfolge geschrieben und verliert seine Namen: %Point{y: 2, x: 1} kommt als %Point[2 1] zurück | Positionelle Form, oder mit geladenem Schema kodieren |
| Tag 29 verweist auf „das n-te markierte Element“ | Nummeriert markierte Elemente, wenn sie fertig dekodiert sind, innerste zuerst; die registrierte CBOR-Erweiterung nummeriert sie beim Öffnen | Teilen abschalten für Dateien, die andere CBOR-Werkzeuge lesen |
Drei Zeilen der Liste für dextrin 0.2.0 sind entfallen. Sigils gehören nicht mehr zu DXN, also stellt sich ~U[…] mit Offset nicht mehr. @datetime nimmt Z jetzt laut Spezifikation. Und :nil, :true und :false bleiben Keywords, auch beim vertrauenswürdigen Dekodieren. Eine vierte verschwand mit dextrin 0.3.2: Die kanonische Form einer Dauer lässt Felder mit null wieder weg, im Text und in .dxnb, also ist @duration "P0D" gleich @duration "PT0S".