Zum Inhalt springen
Lokale KI

Lokale KI im Unternehmen einführen: die Checkliste vor dem Serverkauf

Aufgaben, Datenwege, Hardware, Kosten und Betrieb: Mit diesen Fragen bereiten Sie einen belastbaren ersten Test Ihrer eigenen KI vor.

Merlin Hemmerich5 Min. Lesezeit
Kompakter Büroserver neben einer Anforderungscheckliste mit drei Häkchen und einem offenen Punkt, gemeinsam von einer gestrichelten Grenze mit Schloss umgeben.
Redaktionelle Illustration, keine Produktansicht. · Illustration: Hemmerich Consulting

Erst die Aufgabe festlegen, dann die Hardware auswählen

Eine eigene KI-Umgebung kann interne Dokumente erschließen, Entwürfe vorbereiten und wiederkehrende Arbeitsschritte unterstützen. Ob sie für Ihr Unternehmen passt, entscheidet sich an den Aufgaben und am Betrieb. Die Anschaffung eines Servers ist nur ein Teil davon.

Bei Hemmerich Consulting verbinden wir die Einrichtung lokaler und hybrider KI mit Wissensstruktur und praktischer Einweisung. Die folgende Checkliste ist unsere Empfehlung für die Vorbereitung eines begrenzten ersten Anwendungsfalls. Sie enthält keine pauschale Hardware- oder Amortisationszusage.

1. Eine Aufgabe auswählen, deren Ergebnis Sie beurteilen können

Beginnen Sie mit einem wiederkehrenden Vorgang und einer fachlich verantwortlichen Person. „Wir möchten KI einsetzen“ ist noch keine prüfbare Aufgabe. „Wir möchten Antworten auf Fragen zu freigegebenen Arbeitsanweisungen mit Fundstellen vorbereiten“ ist wesentlich konkreter.

Halten Sie dazu fest:

  • Welche Eingaben kommen vor und wie häufig?
  • Was ist eine brauchbare Antwort oder ein brauchbarer Entwurf?
  • Welche Fehler wären besonders problematisch?
  • Wer prüft das Ergebnis, bevor es weiterverwendet wird?
  • Was passiert, wenn die KI keine ausreichende Grundlage findet?

Eine kleine Sammlung typischer und schwieriger Beispiele macht den ersten Vergleich aussagekräftiger als eine beeindruckende Einzelvorführung. Nutzen Sie geeignete Testdaten und geben Sie nur die Daten frei, die dafür gebraucht werden.

2. Den gesamten Datenweg aufzeichnen

Eine Chatoberfläche auf dem eigenen Server bedeutet noch nicht, dass jede Verarbeitung dort stattfindet. Klären Sie neben dem Sprachmodell auch Dokumentenerkennung, Einbettungsmodell für die Suche, Speicherung, Protokolle und zusätzliche Werkzeuge.

Die Ollama-Dokumentation unterscheidet lokale Verarbeitung und Cloud-Funktionen und beschreibt einen Modus, in dem Cloud-Funktionen deaktiviert werden können. Daraus folgt für die Planung: Der Produktname allein reicht nicht aus, um den Datenweg zu beurteilen. Prüfen Sie die tatsächlich eingerichteten Modelle und Funktionen.

Legen Sie für hybride Lösungen ausdrücklich fest, welche Aufgaben externe Modelle nutzen dürfen. Vertrauliche Unterlagen und ein freigegebener öffentlicher Rechercheauftrag können unterschiedliche Regeln benötigen.

3. Nutzer, Dokumente und Antwortzeiten erfassen

Für die Hardwareplanung sind mehrere Anforderungen wichtig: die eingesetzten Modelle, der benötigte Kontext, die Dokumentenverarbeitung und die gleichzeitige Nutzung. Fragen Sie deshalb nach konkreten Arbeitssituationen. Nutzen fünf Personen die Umgebung gelegentlich oder beginnt ein ganzes Team gleichzeitig mit längeren Dokumenten?

Modellqualität und Geschwindigkeit sollten an denselben Beispielen verglichen werden. Ein größeres Modell ist keine automatische Lösung für eine ungepflegte Wissensbasis. Ein schneller Einzeltest belegt wiederum nicht, dass die Umgebung mehrere gleichzeitige Anfragen bewältigt.

Ein sinnvoller erster Test beantwortet deshalb sowohl die fachliche Frage „Hilft das Ergebnis?“ als auch die betriebliche Frage „Ist die Wartezeit in unserem Ablauf akzeptabel?“.

4. Wissen und Zugriffsrechte vorbereiten

Für eine Dokumentensuche brauchen Sie geeignete Unterlagen und eine Regel für veraltete oder widersprüchliche Fassungen. Wer darf welche Dateien lesen? Wer pflegt die gültige Version? Wie werden entfernte Dokumente auch aus der Suchgrundlage entfernt?

Open WebUI beschreibt für Wissenssammlungen und Dokumentenchats unterschiedliche Wege, relevante Inhalte bereitzustellen. Eine eingerichtete Sammlung ist trotzdem kein Nachweis, dass jede Frage die richtige Passage findet. Prüfen Sie die Fundstellen und auch Fragen, zu denen keine passende Quelle existiert.

Wenn zusätzlich laufende Entscheidungen und Arbeitsstände erhalten bleiben sollen, kann ein Second Brain die gepflegte Wissensbasis ergänzen. Im Vergleich von Second Brain und RAG erklären wir die unterschiedlichen Aufgaben.

5. Einrichtung und laufenden Betrieb getrennt kalkulieren

Vergleichen Sie die Gesamtkosten über denselben Zeitraum. Auf die lokale Seite gehören Hardware, Einrichtung, Strom, Sicherungen, Updates und Betreuung. Auf die Cloud-Seite gehören passende Lizenzen, Nutzungskosten, Anbindungen und der Aufwand für die laufende Verwaltung.

Notieren Sie, welche Ausgaben einmalig und welche wiederkehrend entstehen. Berücksichtigen Sie auch vorhandene Hardware und die tatsächliche Nutzung. Die eigene Zeit für Administration ist ebenfalls Aufwand. Aus dieser Rechnung kann sich eine wirtschaftliche Entscheidung ergeben; eine feste Amortisation nach wenigen Monaten lässt sich daraus nicht für jedes Unternehmen ableiten.

6. Zuständigkeiten vor dem Start festlegen

Die Umgebung braucht eine verantwortliche Person für Zugänge, Updates, Sicherungen und Störungen. Vereinbaren Sie, was Ihre interne IT übernimmt und was ein externer Dienstleister betreut. Zur Übergabe gehören die vereinbarte Konfiguration und ein nachvollziehbarer Weg, den Arbeitsstand wiederherzustellen.

Die Mitarbeitenden brauchen außerdem eine Einweisung in die tatsächliche Umgebung. Sie sollten geeignete Aufgaben erkennen, Quellen prüfen und wissen, wann das Ergebnis fachlich zurückgegeben werden muss. Eine KI-Schulung an eigenen Aufgaben ergänzt deshalb die technische Einführung.

Was am Ende des ersten Tests vorliegen sollte

Sie sollten nachvollziehen können, welche Aufgabe mit welchen Daten bearbeitet wurde, wie die Ergebnisse im vereinbarten Test ausfielen und welche offenen Punkte bleiben. Dazu kommen der geplante Einrichtungsumfang, die laufenden Zuständigkeiten und eine getrennte Kostenübersicht.

Ein anonymisiertes Industrieprojekt zeigt, wie wir lokale Server, Cloud-Ergänzung und Mitarbeiterschulung verbunden haben. Wenn Sie eine eigene Umgebung planen, können Sie uns Aufgabe, ungefähre Nutzerzahl und vorhandene Infrastruktur im ersten Gespräch beschreiben.

Quellen und Einordnung

Technische Quellen, geprüft am 09.11.2026: Ollama FAQ und Open WebUI: Knowledge Bases and Document Chat. Die Checkliste und die Auswahl der Prüfschritte sind unsere praktische Empfehlung. Sie ersetzen keine Prüfung Ihrer konkreten Umgebung.

Mit KI-Unterstützung erstellt. Die Quellen sind im Beitrag verlinkt.

Blog abonnieren

Neue Blogartikel erscheinen im RSS-Feed, sobald sie veröffentlicht sind. Unser separater KI-Newsletter bündelt ausgewählte KI-Neuigkeiten und Praxiswissen für Unternehmen, ohne festen Versandrhythmus. Die freiwillige Anmeldung erfolgt mit Bestätigung und ist jederzeit widerrufbar. Sie löst keinen E-Mail-Versand jedes Blogartikels aus.

Was bedeutet das für Ihren Betrieb?

Wir besprechen Ihre Aufgabe und ordnen gemeinsam ein, welcher nächste Schritt sinnvoll ist.

Vorhaben besprechen