Analyse

Wissensbasis

Diese Funktion ist noch nicht für die neue Benutzeroberfläche des Supervisors adaptiert. Stattdessen ist die Maske der alten Benutzeroberfläche eingebunden.

Unter Administration –> Analyse –> Wissensbasis können Wissensbasen, die zuvor über den novomind Composer bearbeitet wurden, direkt über den Supervisor hochgeladen, aktiviert, heruntergeladen und gelöscht werden.

Berechtigungen:
Für die Konfiguration des Menüs Wissensbasis stehen die Rechte Wissensbasis – Anzeigen und Wissensbasis – Administration in der Rechteverwaltung (Administration –> Stammdaten –> Gruppen) zur Verfügung.

Das Aktivieren von Wissensbasis – Anzeigen bewirkt die Anzeige des Menüpunkts Wissensbasis im Menü Analyse. Mit dem Recht Anzeigen kann der Benutzer die Übersicht der Wissensbasen sehen (es werden alle Wissensbasen angezeigt, die über dieses Menü hochgeladen wurden) und weiterhin über den Button Herunterladen die dargestellten Wissensbasen als Zip-Archiv einsehen oder lokal speichern.

Mit dem Recht Wissensbasis – Administration können darüber hinaus neue Wissensbasen hochgeladen und hochgeladene Wissensbasen aktiviert und gelöscht werden. Es lassen sich mehrere Wissensbasen gleichzeitig markieren. Damit können alte Wissensbasen gesammelt gelöscht werden.

Außerdem besteht beim Download der Live-Wissensbasis (im Gegensatz zum Download ohne das Recht Administration) die Möglichkeit, diese entsprechend zu markieren. Das Markieren („Locking“) dient folgendem Zweck: Möchte ein Benutzer eine Live-Wissensbasis herunterladen, wird er, wenn diese gelockt ist, darauf hingewiesen, dass bereits ein Download dieser Wissensbasis nach ihrer Aktivierung stattgefunden hat. Demnach könnte diese Wissensbasis bereits bei einem anderen Benutzer in Bearbeitung sein. In Bezug auf die Templates bewirkt das Locking einer Wissensbasis des Weiteren, dass ein Benutzer beim Versuch eine Wissensbasis inklusive Templates zu aktivieren darauf hingewiesen wird, dass die aktuellen Templates seit dem Locking der Wissensbasis bearbeitet worden sind.

Liste:

Nach dem Aufruf des Menüs erscheint eine Übersicht, in der die aktive Wissensbasis (Kennzeichnung „LIVE“ in roter Schriftfarbe) an erster Stelle steht und selektiert ist. Durch Anklicken einer Spaltenüberschrift kann die Sortierung nach der jeweiligen Spalte erfolgen. Die Spalten haben die folgenden Bedeutungen.

  • Name:
    Name des Zip-Archivs, das die Wissensbasis enthält. Wurde eine Wissensbasis nicht über dieses Menü geladen, erscheint „unknown_knowledgebase“.
  • Live/Backup Datum:
    Zeitpunkt, zu dem eine Wissensbasis aktiviert, bzw. ein Backup erstellt wurde. Beim Aktivieren einer Wissensbasis, wird automatisch ein Backup von der zuletzt aktiven Wissensbasis erstellt. Hochgeladene Wissensbasen, die noch nicht aktiviert worden sind, haben in dieser Spalte keinen Eintrag.
  • Live/Backup Benutzer:
    Benutzer, der die Wissensbasis aktiviert, bzw. das Backup initiiert hat. Analog zur Spalte Live/Backup Datum, ist auch hier kein Benutzer eingetragen, wenn die Wissensbasis noch nicht aktiviert wurde.
  • Upload Datum:
    Zeitpunkt, zu dem der Upload der Wissensbasis erfolgt ist. Backups einer zuvor aktiven Wissensbasis haben in dieser Spalte keinen Eintrag, da in diesem Fall kein Upload-Vorgang stattgefunden hat.
  • Upload Benutzer:
    Benutzer, der den Upload der Wissensbasis durchgeführt hat. Im Falle eines Backups wird hier analog zur Spalte „Upload Datum“ kein Benutzer angezeigt.

Wurde die aktive Wissensbasis gelocked und ist diese selektiert, werden im unteren Fensterbereich Zeitpunkt und Benutzer des ersten Downloads dieser Wissensbasis angezeigt.

Handelt es sich bei einem Eintrag um ein Backup, das durch Aktivierung einer neuen Wissensbasis automatisch vom System erstellt wurde, wird dies ebenfalls im unteren Fensterbereich dargestellt.

Über den Doppelpfeil unten rechts kann das Beschreibungs-Fenster eingeblendet werden. In diesem Fenster werden die zur jeweils ausgewählten Wissensbasis hinterlegten Kommentare angezeigt. Diese werden über den novomind Composer hinterlegt und können an dieser Stelle nicht editiert werden. Das Ausblenden des Beschreibungs-Fensters erfolgt durch einen erneuten Klick auf den Doppelpfeil.

In Abhängigkeit der Rechte des jeweiligen Benutzers und der selektierten Wissensbasis werden die jeweils verfügbaren Funktionen in der Buttonzeile dargestellt. Es werden grundsätzlich nur die Funktionen eingeblendet, deren Verwendung gerade möglich ist.

Eine Wissensbasis hochladen

Sie können eine neue Wissensbasis auf das novomind iAGENT-System hochladen, indem Sie dazu den Button Upload in der zentralen Buttonzeile klicken. Damit diese Funktion zur Verfügung steht, muss der Benutzer über das Recht Wissensbasis – Administration verfügen. Der Upload ermöglicht das Hochladen einer Wissensbasis. Nach Aufruf der Funktion erscheint ein Dialogfenster mit er Möglichkeit, eine lokale Zip Datei auszuwählen und hochzuladen.

Über Durchsuchen erfolgt der Zugriff auf das Dateisystem zur Auswahl der gewünschten Wissensbasis. Anschließend wird unter Berücksichtigung der folgenden Voraussetzungen der Upload über den Button Datei hochladen gestartet.

  • Die Wissensbasis muss als Zip-Archiv (Encoding CP437 Standard unter Windows) vorliegen. Der Name der Zip-Datei wird dabei als Name für die Wissensbasis übernommen.
  • Das Zip-Archiv darf nur einen Ordner enthalten, der die Wissensbasis enthält. Der Name des Ordners muss dem des Parameters „IQProject“ in der nmIQMail.cfg entsprechen (i.d.R. „iMAILMaster“).
  • Das Archiv muss eine „*.iqp“-Datei enthalten.
  • Das Archiv muss ein Template-Verzeichnis namens „TEMPLATES“ enthalten, welches dem Parameter „templateDirectory“ in der nmIQMail.cfg entspricht.

Sollte eine der Bedingungen nicht erfüllt sein, wird beim Upload-Vorgang explizit auf die jeweilige Fehlerursache hingewiesen. Nach erfolgreichem Upload wird die neue Wissensbasis in der Übersicht automatisch selektiert.

Löschen einer Wissensbasis

Zum Löschen einer oder mehrerer Wissensbasen wählen Sie den Button Löschen aus der zentralen Menüleiste. Um Wissensbasen löschen zu können, muss der Benutzer das Recht Wissensbasis – Administration besitzen. Da nur nicht aktive Wissensbasen gelöscht werden können, wird der Button nur angezeigt, wenn nicht die aktive Wissensbasis selektiert ist.

Das Löschen einer Wissensbasis erfolgt unwiderruflich. Nachdem eine Wissensbasis gelöscht wurde, besteht keine Möglichkeit der Wiederherstellung. Eine entsprechende Sicherheitsabfrage erscheint nach dem Klick auf Löschen.

Wählen Sie den Button OK, wird die Wissensbasis unwiderruflich gelöscht. Mit Abbrechen wird der Löschvorgang abgebrochen. Um mehrere Wissensbasen zu löschen, können diese bei gedrückter UMSCHALT- oder STRG-Taste über die rechte Maustaste markiert werden.

Wurde die ausgewählte Wissensbasis in der Zwischenzeit von einem anderen Benutzer live gestellt, erscheint nach der Bestätigung des Löschversuchs mit OK ein entsprechender Hinweis, dass die Wissensbasis nicht gelöscht werden kann. Die Wissensbasis wird nicht gelöscht. Die Ansicht aktualisiert sich, sodass die zuvor ausgewählte Wissensbasis nun als Live-Wissensbasis zu erkennen ist.

Aktivieren einer Wissensbasis

Um eine Wissensbasis zu aktivieren, d.h. für die Nutzung in novomind iAGENT live zu stellen, nutzen Sie den Button Aktivieren in der zentralen Buttonleiste. Für das Aktivieren von hochgeladenen Wissensbasen ist ebenfalls das Recht Wissensbasis – Administration erforderlich.

Es können alle Wissensbasen (bis auf die bereits aktive) aktiviert werden. Bei erfolgreicher Aktivierung wird automatisch eine Kopie der bis dato aktiven Wissensbasis als Backup angelegt. Wurde die Wissensbasis über den Supervisor aktiviert, erhält sie ihren ursprünglichen Namen und das Datum des Backupzeitpunktes. Zum Aktivieren wählen Sie die gewünschte Wissensbasis aus und klicken auf Aktivieren in der zentralen Buttonleiste.

Wurde die aktive Wissensbasis bereits heruntergeladen und gelocked, erscheint nun die folgende Abfrage. Diese soll dem Benutzer anzeigen, dass möglicherweise an anderer Stelle ebenfalls an der Wissensbasis gearbeitet wird. Dieser Hinweis erscheint auch, wenn der Download bzw. das Locking durch denselben Benutzer erfolgt ist. Zeitpunkt und Benutzer des ersten Downloads werden unterhalb der Tabelle nach Selektion der aktiven Wissensbasis angezeigt.

Durch Auswahl von Ok wird mit dem Aktivierungsprozess fortgefahren. Wurden seit dem Download bzw. Locking der Wissensbasis über den Supervisor Änderungen an den Templates vorgenommen, erscheint eine weitere Abfrage. Mit Button Abbrechen wird die Aktivierung abgebrochen.

Wenn Sie die Aktivierung weiterführen, werden Sie nun gefragt, ob die neue Wissensbasis inklusive der neuen Templates aktiviert werden soll. Wählen Sie Ok, wenn Sie die Wissensbasis ohne Templates aktivieren möchten, die aktuell hinterlegten Templates werden dann nicht überschrieben. Sofern Sie jedoch Änderungen an den Templates im Composer (also offline) vorgenommen haben, können Sie die Wissensbasis mit den Templates aktivieren. Klicken Sie dazu Inkl. Templ. (dies bedeutet „inklusive Templates“). An dieser Stelle sollte sichergestellt sein, dass hierbei Änderungen der aktuellen Templates, die in der Zwischenzeit möglicherweise über den Supervisor vorgenommen wurden, nicht ungewollt verworfen werden. Mit dem Button Abbrechen wird der Aktivierungsvorgang beendet und keine Änderung der Wissensbasis oder an den Templates vorgenommen.

Sofern Sie die Wissensbasis per Ok ohne Templates aktivieren wollen, erhalten Sie nun eine erneute Abfrage zur Bestätigung. Mit Ok bestätigen Sie die Aktivierung und die Wissensbasis wird aktiviert. Mit Abbrechen können Sie die Aktivierung abbrechen.

Haben Sie zuvor per Inkl. Templ. die Aktivierung samt Templates angestoßen, verändert sich der Hinweis auf dem Bestätigungsdialog entsprechend.

 Wurden Änderungen an den Cartridges in der Wissensbasis durchgeführt, muss nach dem Aktivieren der Wissensbasis zusätzlich der Core-Prozess auf dem novomind iAGENT-Server neu gestartet werden

Eine Wissensbasis herunterladen

Sie können eine Wissensbasis herunterladen und dann beispielsweise im novomind Composer offline bearbeiten. Wählen Sie dazu die gewünschte Wissensbasis und klicken Sie den Button Download in der zentralen Buttonleiste. Dieser Button steht zur Verfügung, sobald der Benutzer über das Recht Wissensbasis – Anzeigen verfügt. Es kann jede Wissensbasis – auch die aktive – heruntergeladen werden.

Erfolgt ein Download der aktiven Wissensbasis durch einen Benutzer, der zusätzlich das Recht Wissensbasis – Administration besitzt, erscheint die Abfrage, ob die aktuelle oder die ursprünglich hochgeladene Wissensbasis heruntergeladen werden soll. Mit Button Ok wird die aktuelle Version der Wissensbasis, inklusive aller Änderungen an den Kategorien und Templates, die möglicherweise nach dem Aktivieren der Wissensbasis über den Supervisor durchgeführt worden sind, heruntergeladen. Mit Abbrechen wird die ursprünglich hochgeladene Version heruntergeladen, unbeachtet aller seit Aktivierung der Wissensbasis im Supervisor durchgeführten Änderungen.

Wird auf diesem Dialog die Auswahl aktuelle Version über die Schaltfläche OK gewählt und ist die Wissensbasis noch nicht markiert (siehe „Markieren der Live-Wissensbasis“ oben), erscheint ein Dialog mit der Rückfrage, ob die Wissensbasis markiert werden soll.

Klicken Sie Ok, dann wird die Wissensbasis als bereits heruntergeladen markiert. Wird die aktive und bereits markierte Wissensbasis in der Übersicht mit der Maus selektiert, werden Zeitpunkt und Benutzer der Markierung im unteren Fensterbereich angezeigt. Durch Abrechen wird die Wissensbasis nicht markiert, aber dennoch der Download gestartet.

Wird die aktuelle Version gewählt und ist diese bereits markiert (siehe „Markieren der Live-Wissensbasis“ weiter oben), erscheint eine Hinweismeldung, dass diese Wissensbasis bereits markiert wurde. So erhält der Anwender den Hinweis, dass eventuell bereits ein Kollege an der Wissensbasis arbeitet. Nun ist darauf zu achten, dass die Wissensbasis nicht parallel durch zwei unterschiedliche Anwender unabhängig voneinander bearbeitet und anschließend hochgeladen und aktiviert wird. Denn dadurch würden eventuell die Anpassungen des Anwenders, der seine fertige Wissensbasis zuerst hochgeladen hat, durch die Wissensbasis des zweiten Anwenders überschrieben werden.

Mit Ok wird die Wissensbasis zum Download angeboten, bei „Abrechen“ wird der Download abgebrochen.

Statistic Engine

Diese Funktion ist noch nicht für die neue Benutzeroberfläche des Supervisors adaptiert. Stattdessen ist die Maske der alten Benutzeroberfläche eingebunden.

Eine Wissensbasis kann auf eine Statistic Engine zurückgreifen, um eingehende Mails zu kategorisieren. Nähere Informationen über die möglichen Einbindungsalternativen lesen sie bitte im Composer-Handbuch nach.

Die in diesem Kapitel vorgestellten Masken und Menüs dienen der Konfiguration der in der Wissensbasis verwendeten Statistic Engine. Insbesondere können zur Konfiguration Mails und die ihnen zugeordneten Kategorien verwendet werden, die bereits im novomind iAGENT-System vorliegen. Somit kann die Statistic Engine im Laufe der Zeit verfeinert bzw. notwendige Änderungen der Statistic Engine durchgeführt werden. Anschließend kann sie im laufenden Betrieb in die Wissensbasis eingespielt werden, ohne dass laufende Prozesse beendet bzw. angehalten werden müssen.

Statistic Engine Administration
Statistic Engine Administration

Die obenstehende Abbildung zeigt ein Beispiel für den Dialog der Statistic Engine.
Im Bereich (1) sind die zur Verfügung stehenden Mailsets zu sehen. Ein Mailset besteht aus einer Menge von Kategorien, denen jeweils Trainings- und Evaluations-Mails zugeordnet sind. Anhand dieser Mails kann eine Statistic Engine trainiert und evaluiert werden. Unterhalb der Mailsets stehen mehrere Buttons zur Verfügung, mit deren Hilfe ein Mailset dupliziert (Klonen), trainiert (Trainieren), in die Wissensbasis übernommen (Live stellen) und ihm Mails hinzugefügt (Hinzufügen) werden können.

Im Bereich (2) können zum Beispiel Informationen über ein angeklicktes Mailset oder Masken zum Verändern eines bestehenden Mailsets zu sehen sein.

In den folgenden Kapiteln werden das Erstellen einer neuen Statistic Engine sowie das Pflegen bzw. die Weiterentwicklung bereits vorhandener Statistic Engines erläutert. In diesem Zusammenhang werden die Handhabung der zur Verfügung stehenden Masken und die Bedeutung ihres Inhalts erklärt. Im folgenden Text wird ein Mailset mit der aus ihm generierbaren Statistic Engine gleichgesetzt.

Erstellen eines Mailsets

Um ein neues Mailset zu erstellen, kann entweder der Button Neu in der statischen Menüleiste oder der Button Hinzufügen im Bereich (1) der Abbildung oben verwendet werden. Anschließend ist im Bereich (2) der dargestellte Dialog zu sehen. Mit Hilfe dieses Dialogs können Mails ausgewählt werden, die bereits in das novomind iAGENT-System eingegangen sind. Die ausgewählten Mails können dann durch einen Klick auf den Button Neu / Hinzufügen zu einem neuen oder bestehenden Mailset hinzugefügt werden.

Mailset erstellen/ verändern
Mailset erstellen/verändern

In den Bereichen (1) – (5) der Abbildung können dabei folgende Einstellungen vorgenommen werden:

  • Bereich (1):
    Hier können in den Felder Von bzw. Bis Restriktionen bezüglich der Mail IDs spezifiziert werden. Vorbelegt sind die Felder mit der minimalen bzw. maximalen Mail-ID aller sich im novomind iAGENT-System befindlichen Mails.
  • Bereich (2):
    Hier können Restriktionen hinsichtlich des Eingangs-Datums der Mails angegeben werden. Es werden nur Mails berücksichtigt, deren Eingangs-Datum zwischen dem Von- und Bis-Datum liegen. Vorbelegt sind die Felder mit dem minimalen bzw. maximalen Eingangs-Datum aller Mails.
  • Bereich (3):
    In diesem Bereich können die Kategorien ausgewählt werden, denen die Mails zugeordnet sein dürfen. Der Inhalt der Auswahlliste ergibt sich aus den im novomind iAGENT-System konfigurierten Kategorien (siehe Abschnitt Kategorien). Dabei wird die aktuelle Kategorie einer Mail verwendet, sodass zum Beispiel auch Rekategorisierungen berücksichtigt werden. Durch die Verwendung der UMSCHALT- oder STRG-Taste können mehrere Kategorien in der Auswahlliste selektiert werden.
  • Bereich (4):
    Alternativ zum Erstellen eines neuen Mailsets kann auch eine Kopie eines bereits bestehenden Mailsets angelegt werden. Das Klonen kann durch das Selektieren eines Mailsets und anschließendem Klick auf den Button Klonen bewerkstelligt werden.
  • Bereich (5):
    In dieser Auswahlliste kann die Kategorie spezifiziert werden, der die Mails im Mailset zugeordnet werden sollen. Der Inhalt der Auswahlliste ergibt sich aus den im novomind iAGENT-System konfigurierten Kategorien (siehe Abschnitt Kategorien). Durch die Wahl des ersten Eintrags Kategorien beibehalten wird einer Mail im Mailset die Kategorie zugewiesen, die sie auch im novomind iAGENT-System hat.

Modifizieren eines Mailsets

Ein Mailset beinhaltet mehrere Kategorien. Jeder Kategorie sind Trainings-und Evaluations-Mails zugeordnet. In diesem Kapitel werden Masken vorgestellt, mit denen die Kategoriezuordnung der Mails sowie deren Status als Trainings-bzw. Evaluations-Mail verändert werden kann.

Im oberen Bereich sind mehrere Baumdarstellungen zu sehen, die jeweils ein Mailset repräsentieren. Durch einen Doppelklick auf das vorangestellte Symbol oder den Namen eines Mailsets kann der Baum auf- oder zugeklappt werden. Umbenannt werden kann ein bereits markiertes Mailset mittels eines einfachen Klicks auf das Symbol. Anschließend öffnet sich ein Eingabefenster, in das der neue Name des Mailsets eingetragen werden kann.

Unterhalb der Wurzel werden die Kategorien angezeigt, die das Mailset beinhaltet. Hier befinden sich die Trainings-und Evaluations-Mails, die der jeweiligen Kategorie zugeordnet sind. Hinter den Mailsets, Kategorienamen, Training- und Evaluations-Mails ist in Klammern die Anzahl der dazu gehörigen Mails angegeben. Durch einen Klick auf den Namen eines Mailsets wird ein Dialog angezeigt, die das Evaluationsergebnis ausgibt.

Wenn auf eine Kategorie oder die dazugehörigen Trainings- oder Evaluations-Mails geklickt wird, erscheint ein Dialog, die die enthaltenen Mails anzeigt. Jede Zeile entspricht einer Mail.

In der ersten Spalte stehen die IDs der Mails und die zweite Spalte beinhaltet den Betreff. Die Checkboxen der beiden folgenden Spalten geben Aufschluss darüber, ob die Mail der Trainings- oder der Evaluationsmenge angehört.

Um sich den Inhalt und die aktuell zugeordnete Kategorie einer Mail anzeigen zu lassen, genügt ein Klick auf ihren Betreff. Danach wird der Betreff der Mail orange dargestellt und der Inhalt der Mail erscheint, in dessen Kopfzeile die Mail-ID und in einer Auswahlliste die aktuelle Kategorie zu sehen sind.

Durch die Auswahlliste in der Kopfzeile lässt sich die der Mail zugeordneten Kategorie ändern. Dazu muss durch den Benutzer einfach die betreffende Kategorie ausgewählt werden.

Die Änderung der Kategorie hat nur Auswirkungen auf das jeweilige Mailset, nicht aber auf die Kategorisierung im novomind iAGENT-System.

Mehrere Mails können mit Klicks auf den Betreff und gleichzeitigem Drücken der UMSCHALT- oder STRG-Taste markiert werden. Nach der Selektion mehrerer Mails wird oberhalb der Anzeige der Mails ein neues Menü eingeblendet. Dort können für alle markierten Mails die Kategoriezugehörigkeit und die Zugehörigkeit zur Trainings- und Evaluationsmenge geändert werden. Dazu muss der Benutzer in den Auswahllisten die entsprechenden Einträge auswählen.

Durch die Orange-Färbung der Spalte ID in der Liste der enthaltenen Mails wird eine Änderung der Kategoriezugehörigkeit der jeweiligen Mail indiziert. Eine Orange-Färbung der Spalten Train und Eval weist auf eine Änderung der Zugehörigkeit zur Trainings-bzw. Evaluationsmenge hin. Bei der obersten Mail (ID 2729) in der Liste wurden zum Beispiel die Kategoriezugehörigkeit und die Zugehörigkeit zur Evaluationsmenge geändert. Um die vollzogenen Änderungen in das jeweilige Mailset zu übernehmen, ist ein Klick auf den Button Änderungen speichern in der statischen Menüleiste erforderlich.

Falls eine Statistic Engine um eine neue Kategorie erweitert werden soll, die bisher noch nicht im novomind iAGENT-System vorhanden ist, so muss die Kategorie zunächst neu angelegt werden (siehe Abschnitt Kategorien). Anschließend können einem Mailset Mails der neuen Kategorie zugeordnet werden.

Training und Evaluation

Basierend auf einem Mailset kann eine Statistic Engine trainiert und evaluiert werden. Dazu muss das zugrundeliegende Mailset mindestens zwei Kategorien enthalten. Jeder Kategorie müssen jeweils zwischen 20-30 Trainings-Mails zugeordnet sein. Diese sollten einen repräsentativen Durchschnitt der Mails darstellen, die in der entsprechenden Kategorie anfallen. Sind einer Kategorie keine Trainingsmails zugeordnet, so wird die entsprechende Kategorie durch die Statistic Engine nicht erkannt.

Die einer Kategorie zugeordneten Evaluations-Mails dienen der Überprüfung der Statistic Engine. Für die Evaluation ist eine Größenordnung von 50-100 Mails pro Kategorie empfehlenswert. Nach der Erstellung einer Statistic Engine werden die Evaluations-Mails durch die Statistic Engine klassifiziert. Anhand des Ergebnisses kann die Erkennungsqualität der Statistic Engine verifiziert und Rückschlüsse auf Probleme bei der Klassifizierung gezogen werden.

Nachdem ein Mailset erstellt wurde, kann es ausgewählt und durch einen Klick auf den Button Trainieren die entsprechende Statistic Engine erstellt und evaluiert werden. Nach dem Klick wird unterhalb des Menüs mit den Mailsets eine Statusanzeige eingeblendet, die den Benutzer über den aktuellen Stand des Trainings bzw. der Evaluation informiert. Durch einen Klick auf den Button Stop kann der Prozess unterbrochen werden. Ist der Vorgang abgeschlossen, so wird die Statusanzeige ausgeblendet und das Evaluationsergebnis auf der rechten Seite dargestellt. In Abschnitt Evaluationsergebnis wird der Inhalt des Evaluationsergebnisses näher erläutert.

Mit Hilfe des Buttons Live stellen auf dem initialen Dialog kann eine trainierte Engine in den Klassifizierungsprozess des novomind iAGENT-System eingebunden werden. Hinter dem Namen der momentan verwendeten Statistic Engine wird der rote Schriftzug LIVE eingeblendet. Das Mailset der verwendeten Statistic Engine sollte möglichst nicht modifiziert werden, um immer zum letzten Stand zurückkehren zu können. Stattdessen sollten Änderungen auf einer Kopie des Mailsets durchgeführt werden, die durch einen Klick auf den Button Klonen erzeugt werden kann. Somit kann eine Statistic Engine inkrementell verbessert werden, ohne die einzelnen Zwischenschritte zu verlieren.

Evaluationsergebnis

Nach der Generierung einer Statistic Engine wird anhand der Evaluations-Mails eine Überprüfung vorgenommen. Dazu werden alle Evaluations-Mails von der Statistic Engine klassifiziert und das Ergebnis mit der erwarteten Klassifizierung in Beziehung gesetzt. Die erwartete Klassifizierung einer Mail ergibt sich aus der ihr durch das Mailset zugeordneten Kategorie.

Evaluationsergebnis
Evaluationsergebnis

In Abbildung „Evaluationsergebnis“ ist das Evaluationsergebnis einer Statistic Engine zu sehen. Im Bereich (1) befinden sich Ergebnisse, die sich auf die gesamte Klassifizierung der Evaluations-Mails beziehen. Im Bereich (2) werden die Klassifizierungsergebnisse aufgeschlüsselt nach den einzelnen Kategorien angezeigt.

Nähere Informationen über die in einer Spalte dargestellten Zahlen können mittels eines Tooltips angezeigt werden. Um sich den entsprechenden Tooltip anzeigen zu lassen, muss sich der Cursor über der Überschrift der jeweiligen Spalte befinden. In der Abbildung ist der Tooltip der Spaltenüberschrift Inkorrekt dargestellt.

Die Spalten der Tabelle Gesamt aus Bereich (1) enthalten folgende Informationen:

  • Korrekt:
    Anzahl der Evaluations-Mails, die durch die Statistic Engine der richtigen Kategorie zugeordnet wurden.
  • Inkorrekt:
    Anzahl der Evaluations-Mails, die durch die Statistic Engine einer falschen Kategorie zugeordnet wurden.
  • ErkRate (Erkennungsrate):
    Angabe der richtig kategorisierten Evaluations-Mails in Prozent.
  • Ø Rückl (gewichteter durchschnittlicher Rücklauf):
    Durchschnittlicher Rücklauf der Kategorien gewichtet nach der Anzahl der erwarteten Mails
  • Ø Präz (gewichtete durchschnittliche Präzision):
    Durchschnittliche Präzision der Kategorien gewichtet nach der Anzahl der erwarteten Mails.
  • Ø Konf (gewichtete durchschnittliche Konfidenz):
    Durchschnittliche Konfidenz der Kategorien gewichtet nach der Anzahl der erwarteten Mails.

In den Spalten der Tabelle Details sind im Einzelnen folgende Informationen zu finden:

  • Erw (Erwartet):
    Anzahl der erwarteten Mails. Entspricht der Anzahl der Evaluations-Mails der Kategorie.
  • Akt (Aktuell):
    Anzahl der Evaluations-Mails, die dieser Kategorie zugeordnet worden sind.
  • Kor (Korrekt):
    Anzahl der Evaluations-Mails, die korrekt zu dieser Kategorie zugeordnet wurden.
  • Inkor (Inkorrekt):
    Anzahl der Evaluations-Mails, die fälschlicherweise dieser Kategorie zugeordnet wurden.
  • Fehl (Fehlend):
    Anzahl der Evaluations-Mails, die dieser Kategorie hätten zugeordnet werden müssen, aber einer anderen Kategorie zugeordnet wurden.
  • Rückl (Rücklauf):
    Verhältnis der erwarteten Evaluations-Mails dieser Kategorie (Erw) zu den richtig zugeordneten (Kor) Evaluations Mails ausgedrückt in Prozent.
  • Präz (Präzision):
    Verhältnis der dieser Kategorie zugeordneten Evaluations-Mails (Akt) zu den richtig zugeordneten (Kor) Evaluations-Mails ausgedrückt in Prozent.
  • Konf (Konfidenz):
    Die Konfidenz dieser Kategorie, die aus ihrem Rücklauf und ihrer Präzision anhand folgender Formel berechnet wird: 2 * Rücklauf * Präzision / (Rücklauf + Präzision)

Nach dem Training einer Statistic Engine stehen in der Ansicht der Mails zusätzliche Informationen zur Verfügung. Die IDs der Mails, die durch die Statistic Engine falsch kategorisiert worden sind, werden in roter Farbe dargestellt. Um die Kategorie zu erfahren, der die entsprechende Mail fälschlicherweise zugeordnet wurde, genügt es mit dem Mauszeiger über die entsprechende ID zu fahren. Dann wird ein Tooltip mit dem Namen der zugeordneten Kategorie angezeigt.

Wird das einer Statistic Engine zugrunde liegende Mailset verändert, so ist das Evaluationsergebnis nicht mehr gültig. Dies wird durch den roten Schriftzug (veraltet) in der Titelleiste der Anzeige des Evaluationsergebnisses indiziert.