Praxis-Einblick: So bauen wir Ihr internes Firmengedächtnis auf
Sichere, wirtschaftliche und rollenbasierte Nutzung Ihrer Unternehmensdaten – ein Blick unter die Motorhaube.
Dass lokale KI-Systeme die Antwort auf Datenschutzbedenken und Vendor-Lock-In sind, haben wir bereits beleuchtet. Doch wie sieht so ein System in der Praxis aus? Wie stellen wir sicher, dass der Chatbot zwar das Handbuch kennt, aber nicht die Gehaltslisten ausplaudert?
Heute öffnen wir die Motorhaube und zeigen Ihnen, wie wir bei Aiverybuddy eine solche Infrastruktur konkret aufsetzen – am Beispiel unserer bevorzugten Architektur mit Ollama (Motor) und AnythingLLM (Cockpit).
Die Architektur: Der sichere Container
Viele Unternehmen scheitern beim Selbstversuch an der Vernetzung der Komponenten. Ein professionelles Setup trennt strikt zwischen der Anwendung (dem Chat-Interface) und dem KI-Modell.
Wir nutzen hierfür moderne Container-Technologie (Docker). Das Chat-System läuft in einem isolierten „Safe" (Container), während das rechenintensive Sprachmodell (LLM) direkt auf der Hardware des Host-Servers operiert.
Die technische Finesse: Damit diese beiden Welten sicher kommunizieren, ohne Ports ins offene Internet zu stellen, konfigurieren wir spezielle interne Netzwerkbrücken. So bleibt der Datenverkehr hermetisch abgeriegelt – selbst wenn das Internetkabel gezogen wird, läuft Ihr System weiter.
Das „interne" Datenschutz-Problem lösen
Ein oft unterschätztes Risiko bei Firmen-GPTs ist nicht der Datenabfluss nach außen, sondern der interne Zugriff. In einer klassischen ChatGPT-Sitzung weiß die KI alles, was man ihr gibt. Im Unternehmenskontext ist das fatal.
Wir lösen dies durch granulare Role-Based Access Control (RBAC) innerhalb der Anwendung:
| Szenario | Sicht auf die Daten |
|---|---|
| Der Azubi loggt sich ein | Workspace „Wissenszentrale" – Fragen zu Urlaubsanträgen, IT-Support |
| Die Geschäftsführerin loggt sich ein | Zusätzlich Workspace „Management Board" – Bilanzen, Strategiepapiere |
Die KI ist dieselbe, aber die „Sicht" auf die Daten ist streng reglementiert. Dieses Feature ist essenziell für den Mittelstand und wird bei einfachen Bastel-Lösungen oft vergessen.
Die Zähmung der KI: System-Prompts & Temperatur
Ein nacktes KI-Modell ist oft zu „kreativ" für den Business-Alltag. Damit der Chatbot nicht halluziniert, konfigurieren wir jeden Workspace individuell – über sogenannte System-Prompts und Temperatur-Regler.
- Marketing: Das System steht auf „Kreativ" (hohe Temperatur). Die KI darf texten, Ideen spinnen und locker formulieren.
- Recht & HR: Hier zwingen wir die KI in ein enges Korsett: „Antworte ausschließlich basierend auf den hochgeladenen Dokumenten. Wenn du keine Quelle findest, sage das ehrlich."
So erhalten Sie kein Spielzeug, sondern ein verlässliches Werkzeug, das den Tonfall Ihres Unternehmens trifft.
Flexibilität: Heute lokal, morgen hybrid?
Eine häufige Sorge ist die Sackgasse: „Was, wenn wir doch mal Cloud-Power brauchen?" Das von uns genutzte Setup mit AnythingLLM ist keine Einbahnstraße. Wir können die KI-Quelle pro Arbeitsbereich umschalten.
Sie möchten für 90 % der Anfragen (interne Dokumente) die kostenlose, lokale Rechenpower nutzen? Kein Problem. Für die 10 % hochkomplexen Coding-Aufgaben soll aber ein Spitzenmodell aus der Cloud genutzt werden? Das lässt sich parallel im selben Interface einrichten. Sie behalten die Datenhoheit und entscheiden Fall für Fall.
Fazit: Von der Theorie zur Anwendung
Lokale KI ist mehr als nur „Hardware kaufen". Es geht um die intelligente Orchestrierung von Containern, Rechten und Prompts. Genau hier liegt der Unterschied zwischen einer technischen Spielerei und einer produktiven Unternehmenslösung.
Wollen Sie den Unterschied erleben? Wir haben ein Demo-System aufgesetzt, in dem Sie genau diese Rechte-Trennung und die Arbeit mit Dokumenten live testen können.