LLM-Integration & Betrieb

Der Ort, an dem KI benutzt wird, ist nicht die KI

Ein Assistent, den man erst aufrufen muss, wird nicht benutzt. Das ist keine Vermutung, sondern der Grund, warum von den bezahlten Zugängen in vielen Häusern nur zwanzig bis dreißig Prozent wöchentlich in Gebrauch sind.

Die Arbeit findet in Outlook statt, in Teams, im ERP, in der Fachanwendung mit der Oberfläche aus 2009. Wer dort etwas braucht, wechselt nicht in einen Browsertab. Er macht es von Hand weiter, so wie bisher.

Integration heißt deshalb: Das System kommt dorthin, wo gearbeitet wird. Eine Schaltfläche in der Maske, in der ein Angebot ohnehin geöffnet ist. Ein Befehl im Ticketsystem. Eine Antwort in dem Kanal, in dem die Frage gestellt wurde. Das ist unspektakulär und der Unterschied zwischen einem Piloten, der läuft, und einem, der nach sechs Wochen einschläft.

Drei Wege in ein Bestandssystem

Welchen Weg wir nehmen, entscheidet das System und nicht die Vorliebe.

Über die Schnittstelle, die es gibt. Der Regelfall bei allem, was in den letzten fünfzehn Jahren gebaut wurde: eine dokumentierte Schnittstelle, Authentifizierung über Ihr Verzeichnis, saubere Fehlerbehandlung. Hier ist die Arbeit die Abbildung der Fachlogik und nicht der Zugang.

Über die Datenbank, lesend. Wo keine Schnittstelle existiert, aber die Datenhaltung offen liegt. Lesend und nur lesend: In eine fremde Datenbank zu schreiben, an der Anwendung vorbei, umgeht deren Prüfungen und erzeugt Zustände, die deren Hersteller nie vorgesehen hat. Was geschrieben werden muss, geht über die Anwendung, notfalls über eine Datei, die sie einliest.

Über die Datei, die ohnehin entsteht. Der unterschätzte Weg. Viele Systeme exportieren nachts ohnehin einen Bestand auf ein Laufwerk. Wer den liest, braucht keinen Zugang zum System, keine Freigabe der IT-Sicherheit und keine Abstimmung mit dem Hersteller. Für Vorgänge, die keine Echtzeitdaten brauchen, ist das oft die schnellste tragfähige Lösung.

Wo nichts davon vorliegt, bauen wir den Anschluss, über die Schnittstelle, die das System hat, und nicht über eine, die es haben sollte.

Anmeldung: Ihr Verzeichnis, nicht unser Benutzerkonto

Eine eigene Benutzerverwaltung ist die teuerste Abkürzung im Projekt. Sie ist in zwei Tagen gebaut und danach für immer da: Jeder Eintritt, jeder Austritt, jeder Abteilungswechsel muss zweimal gepflegt werden, und die zweite Pflege vergisst irgendwann jemand.

Die Anmeldung läuft deshalb über Ihren Identity Provider: Entra ID, Keycloak, was bei Ihnen steht. Über OpenID Connect, mit Ihren Gruppen als Rollen. Wer aus dem Verzeichnis entfernt wird, hat am selben Tag keinen Zugang mehr. Wer die Abteilung wechselt, sieht am nächsten Tag die Quellen der neuen und nicht mehr die der alten.

Für die Fälle, in denen ein Verzeichnis fehlt, gibt es einen lokalen Benutzerbestand. Er ist als Übergang gedacht und wird als solcher dokumentiert.

Was der Betrieb tatsächlich bedeutet

„Wir übernehmen den Betrieb" ist ein Satz, den viele schreiben. Hier steht, was er umfasst.

Bereitschaft. Erreichbarkeit zu vereinbarten Zeiten, mit einer Reaktionszeit, die im Vertrag steht und nicht auf einer Webseite.

Aktualisierungen. Sicherheitsaktualisierungen der Komponenten, eingespielt und getestet. Modellwechsel, wenn ein besseres oder günstigeres verfügbar wird, mit einem Testlauf gegen dieselbe Fragemenge wie beim letzten Mal.

Kapazität. Wenn aus vierzig Nutzenden vierhundert werden, wird nachgezogen, bevor es klemmt. Das ist eine Frage der Beobachtung und nicht der Beschwerde.

Beobachtung. Antwortzeiten, Fehlerquoten, Kosten je Kostenstelle, Trefferquote des Retrievals. Monatlich als Bericht, jederzeit als Oberfläche.

Übergabe. Auf Wunsch geht der Betrieb an Ihr Team über. Die Einarbeitung gehört dazu, ebenso die Dokumentation und ein Zeitraum, in dem wir noch danebenstehen. Es gibt keine Komponente, die nur wir betreiben können. Das ist eine Bauentscheidung und keine Zusage.

Quelloffen, und warum das hier eine Rolle spielt

Der Stack besteht aus Werkzeugen, die Ihre IT kennt oder kennenlernen kann: Kubernetes, Postgres, Keycloak, Grafana, OpenTelemetry. Nichts davon ist eine Blackbox mit Jahreslizenz.

Das ist keine Weltanschauung, sondern die Bedingung für den vorigen Absatz. Ein Betrieb lässt sich nur übergeben, wenn das, was übergeben wird, ohne uns weiterläuft. Und eine Prüfung durch Ihre IT-Sicherheit lässt sich nur bestehen, wenn jemand hineinschauen kann.

Die einzige Komponente, die von uns stammt, ist InsideAI. Auch sie läuft in Ihrer Umgebung, wenn Sie das wollen, und auch für sie gilt: Was sie tut, steht im Protokoll.

Wo die Grenzen liegen

Es gibt Systeme, an die wir nicht anbinden. Wenn der Hersteller den Zugriff vertraglich untersagt, ist das keine technische Frage, dann steht die Klärung mit dem Hersteller vor dem Projekt, und manchmal ist ihr Ergebnis ein Nein.

Es gibt auch Vorgänge, bei denen die Anbindung teurer ist als der Nutzen. Ein Fachsystem mit dreißig Nutzenden, dessen Anbindung drei Wochen Entwicklung kostet, rechnet sich selten. Wir sagen das vor dem Angebot.