joetjen.net
EN DE
Datenformat

Grammatik

Das DXN-Textformat ist durch eine PEG-Grammatik in Aether definiert, der Grammatiksprache von Ichor. Der Parser von dextrin wird daraus erzeugt statt von Hand geschrieben.

Format 1.0

Pragmas und Tokens

Dies ist die Grammatik, aus der der Parser von dextrin erzeugt wird: priv/grammar/dxn.aether, wie mit dextrin 0.3.2 veröffentlicht, ohne Kommentare. Namen in Großbuchstaben sind Tokens, längste Übereinstimmung zuerst, bei Gleichstand gewinnt die frühere Deklaration; Namen in Kleinbuchstaben sind Regeln, die per geordneter Auswahl über den Tokens arbeiten.

dxn.aether
@grammar "dxn"
@root document
@skip TRIVIA

SPACE   := [ \t\r\n,]+
COMMENT := "#" (!"\n" .)* "\n"?
TRIVIA  := (SPACE | COMMENT)*

NIL   := "nil"
TRUE  := "true"
FALSE := "false"

EXPONENT := [eE] [+-]? DIGIT+
FLOAT    := ("-"? DIGIT+ (("." DIGIT+ EXPONENT?) | EXPONENT)) | "NaN" | "Infinity" | "-Infinity"
DECIMAL  := "-"? DIGIT+ ("." DIGIT+)? "M"
RATIONAL := "-"? DIGIT+ "/" DIGIT+
INTEGER  := "-"? DIGIT+

IDENT_START := [_\u{41}-\u{5A}\u{61}-\u{7A}\u{AA} … \u{30000}-\u{3134A}\u{31350}-\u{33479}]
IDENT_CONT  := IDENT_START | [\u{30}-\u{39}\u{41}-\u{5A}\u{5F}\u{61}-\u{7A} … \u{E0100}-\u{E01EF}\-?!]
IDENTIFIER  := IDENT_START IDENT_CONT* ("." IDENT_START IDENT_CONT*)* ("/" IDENT_START IDENT_CONT* ("." IDENT_START IDENT_CONT*)*)?

MAP_KEY := IDENTIFIER ":"
KEYWORD := ":" (IDENTIFIER | STRING)

AT_DISCARD := "@_"
AT         := "@"

ESCAPE := "\\" ("\"" | "\\" | "n" | "t" | "r" | "0" | "a" | "b" | "f" | "v" | ("x{" HEX+ "}"))
STRING := "\"" (ESCAPE | (![\"\\] .))* "\""
CHAR   := "?" (ESCAPE | "s" | (![ \t\r\n] .))

Die Reihenfolge der Deklarationen leistet hier echte Arbeit. NIL, TRUE und FALSE stehen vor IDENTIFIER und gewinnen so den Gleichstand. MAP_KEY verschmilzt einen Namen mit seinem Doppelpunkt zu einem Token, damit name:value ohne Leerzeichen nie als Name mit folgendem Keyword :value gelesen wird. AT_DISCARD schlägt AT durch seine Länge, also ist @_ immer ein Verwerfen und nie ein eigenes Tag namens _.

Regeln

document := header? value TRIVIA?
header   := "@dxn" version:STRING

value   := discard* value_body
discard := AT_DISCARD value

value_body := nil | boolean | number | string | char | keyword | symbol
            | list | tuple | map_lit | struct_lit | set_lit
            | tag_form

nil     := NIL
boolean := TRUE | FALSE
number  := DECIMAL | RATIONAL | FLOAT | INTEGER
string  := STRING
char    := CHAR
symbol  := IDENTIFIER
keyword := KEYWORD

list    := "[" value* "]"
tuple   := "{" value* "}"
set_lit := AT "{" value* "}"

map_lit   := "%" "{" map_entry* "}"
map_entry := (short_key:MAP_KEY short_val:value) | (arrow_key:value "=>" arrow_val:value)

struct_lit        := "%" name:IDENTIFIER ("(" version:INTEGER ")")? (keyed:struct_keyed | positional:struct_positional)
struct_keyed      := "{" map_entry* "}"
struct_positional := "[" (value !"=>")* map_entry* "]"

tag_form := AT name:IDENTIFIER ("(" flags:IDENTIFIER ")")? value

Jedes Datum, jede Uhrzeit und jeder reguläre Ausdruck ist eine tag_form mit einer Zeichenkette, und die Zeichenkette wird nach dem Parsen geprüft: dextrin gibt sie an die Parser der Host-Sprache und lehnt eine ab, die nicht die Form hat, die ihr Tag nennt. Weil "@dxn" überall im Dokument ein längeres Token ist als AT, nicht nur am Anfang, kann @dxn nie ein eigenes Tag sein.

Drei Dinge haben sich mit dextrin 0.3 geändert. Die vier Sigil-Tokens und ihre Regel sind entfallen, also beginnt ~ kein Token, und ein Sigil scheitert schon im Lexer. IDENTIFIER nimmt Segmente, verbunden durch .. Und tag_form nimmt einen optionalen Kopf in Klammern, so wie struct_lit eine Version nimmt: @regex(im). ( leitet in DXN sonst nichts ein und braucht daher kein eigenes Token; ob das Tag regex ist und die Buchstaben Flags sind, wird nach dem Parsen geprüft.

Wo die Implementierung abweicht

An einigen Stellen akzeptiert dextrin 0.3.2 mehr als die Spezifikation, schreibt etwas anderes, als sie sagt, oder legt etwas fest, das sie offenlässt. Dies sind die portablen Entscheidungen:

Spezifikationdextrin 0.3.2Schreibweise
Ein Leser muss jede Kopfzeile 1.x akzeptieren und darf eine andere Hauptversion ablehnenJede Versionszeichenkette wird ungeprüft akzeptiert, auch "2.0" und "banana"@dxn "1.0"
@uri enthält eine URI nach RFC 3986Jede Zeichenkette wird akzeptiert: @uri "not a uri" wird gelesenNur echte URIs
Binäre Structs sind positionell, in Schema-ReihenfolgeMit geladenem Schema sind sie das. Ohne Schema wird ein Struct mit Schlüsseln in Quellreihenfolge geschrieben und verliert seine Namen: %Point{y: 2, x: 1} kommt als %Point[2 1] zurückPositionelle Form, oder mit geladenem Schema kodieren
Tag 29 verweist auf „das n-te markierte Element“Nummeriert markierte Elemente, wenn sie fertig dekodiert sind, innerste zuerst; die registrierte CBOR-Erweiterung nummeriert sie beim ÖffnenTeilen abschalten für Dateien, die andere CBOR-Werkzeuge lesen

Drei Zeilen der Liste für dextrin 0.2.0 sind entfallen. Sigils gehören nicht mehr zu DXN, also stellt sich ~U[…] mit Offset nicht mehr. @datetime nimmt Z jetzt laut Spezifikation. Und :nil, :true und :false bleiben Keywords, auch beim vertrauenswürdigen Dekodieren. Eine vierte verschwand mit dextrin 0.3.2: Die kanonische Form einer Dauer lässt Felder mit null wieder weg, im Text und in .dxnb, also ist @duration "P0D" gleich @duration "PT0S".