KI-Tools vergleichen: Kriterien für Unternehmen

Anforderungen vor der Produktauswahl festhalten

Beschreiben Sie den geplanten Einsatz: Wer nutzt das Werkzeug, welche Eingaben liegen vor und wohin geht das Ergebnis? Unterscheiden Sie Anforderungen, die zwingend erfüllt sein müssen, von wünschenswerten Funktionen.

Eine nicht erfüllte Muss-Anforderung sollte nicht durch viele nebensächliche Funktionen ausgeglichen werden. Beispielsweise können betriebliche Vorgaben zu Zugängen oder Datenverarbeitung eine gesonderte Freigabe erforderlich machen. Diese Prüfung erfolgt vor dem Einsatz mit realen Daten.

Repräsentative Aufgaben auswählen

Wählen Sie mehrere typische Fälle und mindestens einen Fall mit unvollständigen oder widersprüchlichen Informationen. Das Material muss für die Tests freigegeben sein. Die Kandidaten erhalten möglichst dieselbe Aufgabenbeschreibung und dieselben Ausgangsdaten.

Notieren Sie Werkzeug, betrachteten Tarif oder Funktionsumfang, Datum und relevante Einstellungen. Wenn ein Kandidat nachträglich zusätzliche Informationen bekommt, halten Sie das fest. Nur so lässt sich das Ergebnis später angemessen vergleichen.

Ergebnis und Nacharbeit bewerten

Für Textaufgaben können Sie beispielsweise Richtigkeit, Vollständigkeit, Verständlichkeit und erforderliche Überarbeitung beurteilen. Definieren Sie vorab, was eine brauchbare Ausgabe bedeutet. Die Fachperson, die das Ergebnis später verwenden soll, sollte an der Bewertung beteiligt sein.

Eine einfache Skala lautet: nicht verwendbar, nach umfangreicher Überarbeitung verwendbar oder nach geringer Überarbeitung verwendbar. Ergänzen Sie konkrete Beobachtungen. Ein Durchschnittswert ohne Begründung verdeckt möglicherweise einen entscheidenden Fehler.

Eine Vergleichsübersicht anlegen

Pro Testfall können Sie diese Felder erfassen: Aufgabe, Kandidat, Ergebnisurteil, sachliche Fehler, fehlende Angaben, Zeit für Prüfung und Korrektur sowie offene Anbieterfragen. Ergänzen Sie separat laufende Kosten und organisatorische Voraussetzungen.

Gewichten Sie die Kriterien entsprechend Ihrer Aufgabe. Für eine interne Ideensammlung können andere Anforderungen gelten als für einen fachlich präzisen Kundenentwurf. Die Gewichtung sollte dokumentiert werden, bevor Sie einen Favoriten bestimmen.

Ein Bewertungsblatt für einen Textentwurf

Für jeden Kandidaten kann ein Blatt mit denselben Feldern verwendet werden: Aufgabe und Datum, verwendetes Material, vollständig übernommene Angaben, falsche oder ergänzte Aussagen, benötigte Korrekturen und Gesamturteil. Die Beschreibung des Fehlers ist wichtiger als eine scheinbar präzise Gesamtnote.

Ein fiktiver Vergleich könnte zeigen, dass Kandidat A einen gut lesbaren Text mit einer erfundenen Lieferfrist erzeugt, während Kandidat B eine fehlende Frist als Rückfrage ausgibt. Für eine Kundenantwort kann dieser Unterschied wichtiger sein als ein geringfügiger Geschwindigkeitsvorteil.

Bewahren Sie Eingabe und Ausgabe gemeinsam mit der Bewertung auf, soweit die internen Regeln dies zulassen. Damit können andere Beteiligte die Einschätzung nachvollziehen und spätere Tests mit derselben Aufgabe vergleichen.

Eine begründete Auswahl treffen

Fassen Sie zusammen, welcher Kandidat für welche Aufgabe geeignet erscheint und welche Voraussetzungen noch fehlen. Wenn kein Werkzeug die Muss-Anforderungen erfüllt, ist auch das ein Ergebnis. Der Vergleich muss nicht zwingend mit einem Kauf enden.

Die Empfehlung bezieht sich auf den betrachteten Stand. Bei wesentlichen Änderungen an Anwendung oder Produkt kann eine erneute Prüfung sinnvoll sein. kaiimu unterstützt diesen Prozess mit der KI-Tool-Auswahl und dem Anbietervergleich.