Page Comparison

Grundsätzliche Optionen zur Verbesserung der Datenqualität

...

• Nutzung besserer Quelldaten aus dem Erschliessungssystem eines Datengebers

• Maschinelle Bereinigungen und Normalisierungen beim Import (Splitten von Strings, Erkennen von Mustern etc.)

• Zuordnung zu Vokabularien beim Import

• Erkennung von Informationen aus Freitextfeldern

• Vorausgehende Bereinigungsarbeiten bei den Datengebern

...

• Personen: Noch nichts geplant, ist abhängig vom Vorhandensein identifizierender Merkmale

• Geografika: Noch nichts, geplant sind Wikidata und/oder GeoNames

• Sprache: Anreicherung mit Wikidata-IDs und -Labels, teilweise auch um zusätzliche Begriffe für die Facette (Andere, etc.)

• Genre: Anreicherung um Begriffe aus einer fixen Liste

• Format: Anreicherung mit Wikidata-IDs und -Labels, teilweise auch um zusätzliche Begriffe für die Facette (Andere, etc.)

• Nutzungsrechte: …Anreicherung um eine Information nach einer standardisierten Begriffsliste für die Facette “Weiternutzung”

Angereicherte Informationen werden in ihrer Herkunft ausgezeichnet, um sie von den originalen Angaben der Datengeber unterscheiden zu können.

...

Die individualisierenden Merkmale stehen idealerweise in spezifischen, klar ausgezeichneten Metadatenfeldern. Informationen aus Freitext sind schwieriger zu extrahieren, es sei denn, dass über einen Bestand hinweg konsistente Schreibweisen bzw. eine einheitliche Verwendung von Trennzeichnen vorliegt.

Key Questions:

• Welche Informationen reichern wir während des Imports womit an?

• Welche Faktoren sind essenziell, damit eine Anreicherung optimal funktioniert?

• Was könnten die Datengeber jetzt schon verbessern um künftig Datenanreicherungen zu erleichtern? Siehe dazu auch die Erkenntnisse aus metisgym!

Quellen:

...

Zudem müsste entschieden werden, welche Beziehung eine solche extrahierte Information zum Medienobjekt hat, da wohl eine sichere automatisierte Zuordnung zu subject resp. creator nicht möglich ist.

Kennzeichnung von Anreicherungen

Die Daten, die Memoriav von den Institutionen erhält, werden nur geringfügig angepasst und ansonsten unverändert gespeichert. Darunter verstehen sich die folgenden Anpassungen:

• Trennung von Aufzählungen von Personen (und zugehörigen Rolleninformationen), Sprachen, Orten, etc. damit diese als einzelne Entitäten in den Daten abgebildet werden können.

• Normalisierung von Datumsangaben.

Die gelieferten Metadaten und Medienobjekte sind Basis für diverse Anreicherungen. Metadaten, die durch einen Anreicherungsprozess ergänzt wurden, werden gekennzeichnet, damit nachvollzogen werden kann, durch welchen Prozess diese Daten erstellt wurden. Anreicherungsprozesse sind u.a.:

• Anreicherung von Sprachen, Trägerformaten, Genre, Orten, Personen, etc. aus Vokabularen oder fixen Listen.

• Anreicherungen durch die Extraktion von technischen Metadaten aus den Medienobjekten, sofern dabei Entitäten generiert werden, die auch in den gelieferten Metadaten vorkommen können (d.h. nicht mit gemeint sind die blau markierten properties des digitalObjects https://memobase.atlassian.net/wiki/spaces/MD/pages/336855177/Memobase+RDF#digitalObject).

Beispiel für die Anreicherung einer Sprache mit Kennzeichnung (b26 ist der Input-Wert, b27 der angereicherte Wert):

    {
      "@id": "_:b24",
      "@type": "https://www.ica.org/standards/RiC/ontology#Activity",
      "affects": "_:b26",
      "beginningDate": "2021-27-19T09:27:09+0000",
      "endDate": "2021-27-19T09:27:09+0000",
      "performedBy": "_:b25",
      "resultsIn": "_:b27",
      "type": "enrichment"
    },
    {
      "@id": "_:b25",
      "@type": "https://www.ica.org/standards/RiC/ontology#Mechanism",
      "name": "LanguagesNormalizer",
      "performs": "_:b24"
    },
    {
      "@id": "_:b26",
      "@type": "https://www.ica.org/standards/RiC/ontology#Language",
      "name": "français",
      "type": "content"
    },
    {
      "@id": "_:b27",
      "@type": "https://www.ica.org/standards/RiC/ontology#Language",
      "sameAs": "http://www.wikidata.org/entity/Q150",
      "name": [
        {
          "@language": "de",
          "@value": "Französisch"
        },
        {
          "@language": "fr",
          "@value": "français"
        },
        {
          "@language": "it",
          "@value": "francese"
        }
      ],
      "resultsFrom": "_:b24",
      "type": "content"
    },