Page Comparison

Normalisierung

Die Normalisierung von Datumsangaben ist Teil des Schritts “Metadata Enrichment and Normalization”. Dabei werden die im Mapping generierten rico:DateSet in rico:SingleDate oder rico:DateRange transformiert und die Daten in die korrekten Felder geschrieben.

Generelles

...

Nur Tagesdaten werden in rico:SingleDate geschrieben, alle anderen Daten werden in rico:DateRange geschrieben.

...

Wenn möglich werden Daten nach ISO 8601 normalisiert und in rico:normalizedDateValue geschrieben. Ansonsten stehen sie in rico:expressedDate.

Wenn möglich werden qualifizierende Texte in rico:dateQualifier oder rico:certainty geschrieben. Ansonsten werden nicht normalisierbare Datumsangaben und Texte in rico:expressedDate geschrieben.

...

Häufig vorkommende Texte, die auf eine Schätzung eines Datums hindeuten (ca., um, …) werden in rico:dateQualifier geschrieben.

...

. Die Normalisierung ist regelbasiert und kann konfiguriert werden. Wenn eine Normalisierung nicht möglich ist, kann das Datum nicht facetiert werden.

• Normalisierung basiert auf ISO 8601.

• Ein spezifischer Tag wird als Entität vom Typ rico:SingleDate modelliert.

• Alles andere wird mit einer Entität vom Typ rico:DateRange modelliert.

• Normalisierte Datum sind in rico:normalizedDateValue zu finden.

• Qualifizierender Text kann aus dem Datum entfernt und in einem von zwei zusätzlichen Feldern gespeichert werden:

  • rico:dateQualifier: Text welcher auf eine Schätzung des Datums hindeutet (z.B. ca., um, etc.)

  • rico:certainty: Text welcher zusätzliche Informationen zum Datum enthält (z.B. Datiert nach Inschrift, genaues Datum nicht eruierbar, …) werden etc.)

• Wenn die Normalisierung scheitert dann wird der Wert in rico:

  certainty geschrieben.

• rico:DateSet wird für dct:created/dct:issued höchstwahrscheinlich nicht verwendet. Evtl. ist rico:DateSet für dct:temporal notwendig (zur Zeit nicht implementiert).

Konfiguration

Welche Daten und Texte aus einem string wie behandelt werden, kann mit regex in vier Konfigurationsdateien festgelegt werden.

date-range-matchers.txt: Enthält die Muster, die als rico:DateRange behandelt werden.

single-date-matchers.txt: Enthält die Muster, die als rico:SingleDate behandelt werden.

certainty.txt: Enthält die Muster, die als rico:certainty behandelt werden.

...

• expressedDate gespeichert und als Entität rico:DateRange.

Prozess

1. Alle Entitäten mit dem Typ rico:DateSet werden ausgewählt.

2. Überprüfe ob das Attribut rico:expressedDate definiert ist.

   1. Entität ohne werden ignoriert und ein Report generiert.

3. Entferne alle Leerzeichen am Anfang und am Ende des Wertes.

4. Versuche jeden SingleDate Matcher in Reihenfolge mit einem vollen Abgleich.

   1. Abbruch bei Erfolg

5. Suche Text mit dem Qualifier Filter.

   1. Gefundene Übereinstimmungen werden vom Wert entfernt und im Feld rico:dateQualifier angelegt.

6. Suche Text mit dem Certainty Filter.

   1. Gefundene Übereinstimmungen werden vom Wert entfernt und im Feld rico:certainty angelegt.

7. Entferne alle Leerzeichen im Wert.

8. Versuche jeden DateRange Matcher in Reihenfolge mit einem vollen Abgleich.

Konfiguration

Besteht aus vier Teilen. Jeder wird in einem separaten Schritt angewendet. Beim erstellen muss unbedingt die Reihenfolge bedacht werden.

SingleDate Matcher

File: single-date-matchers.txt

Beispiel: (?<year>\d{4})-(?<month>[0-2][0-9])-(?<day>[0-3][0-9])

Muss die Gruppen year, month und day enthalten.

DateRange Matcher

File: date-range-matchers.txt

Beispiel: (?<singleYear>[0-2][0-9]{3})

Muss entweder die Gruppe singleYear enthalten oder mindestens die Gruppen fromYear und untilYear. Bei den letzten beiden kann auch fromMonth, fromDay, untilMonth und untilDay verwendet werden.

Certainty Filter

File: certainty.txt:

Beispiel: \(?(?<certainty>Datiert nach Inschrift)\)?

Jede Regex muss die Gruppe certainty enthalten.

Qualifier Filter

File: qualifier.txt

Beispiel: [\s+]\(?(?<qualifier>um)\)?[^a-zA-Z]

Jede Regex muss die Gruppe qualifier enthalten.

Namen von Monaten

Für die Normalisierung von Daten in Textform zu ISO 8601 werden aktuell die folgenden Namen verstanden und verarbeitet. Der Code kann mit zusätzlichen Varianten ergänzt werden. Diese werden angewendet wenn die Werte in den Gruppen month, fromMonth & untilMonth nicht numerisch sind.

• Januar, Jan, janvier, janv., gennaio, gen

• Februar, Feb, février, févr., febbraio, feb

• März, Mär, mars, mars, marzo, mar

• April, Apr, avril, avr., aprile, apr

• Mai, Mai, mai, mai, maggio, mag

• Juni, Jun, juin, juin, giugno, giu

• Juli, Jul, juillet, juil., luglio, lug

• August, Aug, août, août, agosto, ago

• September, Sep, septembre, sept., settembre, set

• Oktober, Okt, octobre, oct., ottobre, ott

• November, Nov, novembre, nov., novembre, nov

• Dezember, Dez, décembre, déc., dicembre, dic

...