Inhaltsverzeichnis
Warum Open Source bei KI anders ist als bei anderen Tools
Wer Open-Source-Software kennt, kennt das Muster: kostenlos herunterladen, installieren, nutzen. Bei KI-Tools stimmt das Bild, aber es greift zu kurz. Open Source bei KI bedeutet mehr als keine Lizenzgebühren — es verändert die gesamte Machttektonik zwischen Anbieter und Nutzer.
Bei proprietären KI-Plattformen zahlt ein Unternehmen nicht nur für die Nutzung, sondern wird gleichzeitig abhängig: von Preisänderungen, von API-Verfügbarkeit, von Modell-Upgrades, die ohne Vorankündigung das Verhalten des Systems ändern, und von der Entscheidung des Anbieters, welche Daten für was verwendet werden. Wer seine internen Dokumente in ein proprietäres Cloud-System eingespeist hat, besitzt kein echtes Mittel, diese Abhängigkeit kurzfristig aufzulösen.
Open-Source-KI-Tools bieten dagegen:
- Keine Lizenzkosten pro User: Bei proprietären Plattformen summieren sich User-Lizenzen schnell auf beträchtliche monatliche Beträge. Open Source ist in der Anschaffung kostenlos.
- Volle Kontrolle über Code und Daten: Das Modell und alle verarbeiteten Daten bleiben auf der eigenen Infrastruktur. Kein Dritter hat Einblick.
- Keine Vendor-Abhängigkeit: Wenn ein Modell besser wird, kann es ausgetauscht werden. Wenn ein Framework nicht mehr gewartet wird, kann zu einem anderen gewechselt werden — ohne Datenmigrationsproblem.
- Aktive Community und schnelle Entwicklung: Das Open-Source-KI-Ökosystem entwickelt sich derzeit schneller als proprietäre Pendants. Neue Modelle und Werkzeuge erscheinen im Wochenrhythmus.
Kategorien von Open-Source-KI-Tools für KMU
Lokale Sprachmodelle
Das Herzstück eines lokalen KI-Stacks ist ein LLM-Inference-Server — ein System, das Sprachmodelle auf eigener Hardware betreibt und über eine API ansprechbar macht. Die bekanntesten Optionen sind Ollama (für unkomplizierte Einzel-Server-Setups), vLLM (für leistungsstarke GPU-Instanzen mit hohem Durchsatz) und LM Studio (für Desktop-Umgebungen und Tests).
Die Modelle selbst sind in verschiedenen Größen verfügbar. Für Standard-Server ohne dedizierte GPU eignen sich quantisierte Modelle — Varianten, bei denen die Modellgewichte komprimiert werden, um mit weniger RAM und ohne GPU-Beschleunigung zu arbeiten. Modelle mit 7 bis 14 Milliarden Parametern laufen auf einem modernen Server mit 32–64 GB RAM akzeptabel schnell und leisten für viele KMU-Aufgaben sehr gute Arbeit.
RAG-Frameworks
Retrieval-Augmented Generation (RAG) ist das Schlüsselkonzept für nützliche Unternehmens-KI: Statt ein Modell mit eigenen Daten teuer zu trainieren, werden Dokumente indexiert und bei jeder Anfrage die relevantesten Passagen als Kontext mitgegeben. Das Modell antwortet auf Basis dieser Passagen — korrekte Antworten aus den eigenen Unterlagen, statt halluzinierter Informationen aus dem Trainingsdata.
Für die Vektordatenbank, in der die Dokument-Embeddings gespeichert werden, gibt es mehrere ausgereifte Open-Source-Optionen: Chroma (einfach, ideal für kleine bis mittlere Mengen), Qdrant (performant, gut für Produktionsumgebungen) und Weaviate (feature-reich, mit integrierter Vektorkomprimierung). Für die RAG-Pipeline — also die Logik, die Anfragen verarbeitet, relevante Dokumente sucht und das LLM aufruft — sind LangChain und Haystack die etablierten Frameworks.
Automatisierung und Workflow
n8n ist die Open-Source-Alternative zu Zapier und Make — ein visueller Workflow-Builder, der KI-Aufrufe mit anderen Systemen verbinden kann. Eingehende E-Mails automatisch zusammenfassen und kategorisieren, Dokumente aus einem Ordner automatisch analysieren und in einer Datenbank ablegen, Berichte automatisch generieren wenn bestimmte Bedingungen eintreten — das alles ist mit n8n und einem lokalen LLM ohne Programmierkenntnisse konfigurierbar.
Für automatische Dokumentenverarbeitung — also das strukturierte Extrahieren von Informationen aus PDFs, Word-Dokumenten oder E-Mails — sind spezialisierte Open-Source-Frameworks wie Apache Tika für die Textextraktion und eigene LLM-Prompts für die Strukturierung eine bewährte Kombination.
Monitoring und Logging für KI-Systeme
Ein produktionsbereites KI-System braucht Observability: Wer fragt was ab? Wie lange dauern Anfragen? Gibt es Fehlerraten? Für LLM-Monitoring sind OpenTelemetry als Standard-Protokollierungs-Framework und Prometheus als Metriken-Backend bewährt. Dashboards lassen sich mit Grafana visualisieren — alles Open Source, alles selbst gehostet.
Was heute wirklich produktionsreif ist
Eine ehrliche Einschätzung, was in KMU-Umgebungen zuverlässig funktioniert — und was noch nicht:
- Textklassifikation: Eingehende Dokumente, E-Mails oder Tickets kategorisieren. Produktionsreif, hohe Zuverlässigkeit bei klar definierten Kategorien.
- Dokumentensuche (RAG): Interne Wissensbasen in natürlicher Sprache durchsuchen. Produktionsreif, insbesondere wenn die Dokumentenqualität hoch ist.
- Zusammenfassungen: Lange Dokumente, E-Mail-Threads oder Berichte komprimieren. Produktionsreif, mit der Einschränkung, dass kritische Inhalte immer manuell gegengeprüft werden sollten.
- Code-Assistenz: Entwickler bei Routineaufgaben unterstützen, Codereviews, Dokumentation schreiben. Produktionsreif für erfahrene Entwickler, die die Ausgaben einschätzen können.
- Komplexes Reasoning und juristische/medizinische Fachfragen: Hier sind lokale Open-Source-Modelle noch deutlich hinter proprietären Frontier-Modellen. Für einfache Aufgaben gut, für komplexe Argumentationsketten oder Fachdomänen mit hohen Genauigkeitsanforderungen noch begrenzt.
Was Open Source nicht löst
Wer Open-Source-KI mit "kein Aufwand" gleichsetzt, wird enttäuscht sein. Die Unterschiede zu proprietären Plattformen sind real:
Implementierungsaufwand: Proprietäre Plattformen haben fertige Benutzeroberflächen, Support-Teams und ausgearbeitete Dokumentation für Standard-Use-Cases. Open Source erfordert technische Expertise für Setup, Konfiguration und Betrieb. Das ist nicht weniger wert — aber es ist Aufwand, der geplant werden muss.
Keine fertige Enterprise-Oberfläche: Es gibt Open-Source-Frontend-Lösungen wie Open WebUI, die für viele Anwendungsfälle ausreichen. Für spezialisierte Kanzlei- oder ERP-Integrationen muss jedoch meist eine eigene Oberfläche oder Integration entwickelt werden.
Modell-Auswahl und -Optimierung: Welches Modell für welche Aufgabe? Wie werden Prompts optimiert? Wie wird die Qualität der Ausgaben bewertet? Das erfordert Know-how, das proprietäre Anbieter durch ihren Support und ihre Tutorials kompensieren. Bei Open Source liegt diese Expertise beim implementierenden Team.
Typischer Open-Source-KI-Stack für ein KMU
Ein praxiserprobter Stack für ein KMU mit 10–100 Nutzern sieht bei uns typischerweise so aus:
- LLM-Server: Ollama oder vLLM auf einem dedizierten Server, betrieben mit einem oder mehreren quantisierten Modellen je nach Aufgabe
- Vektordatenbank: Qdrant für die Speicherung von Dokument-Embeddings
- RAG-Pipeline: LangChain oder Haystack für die Verarbeitungslogik
- Automatisierung: n8n für Workflow-Automatisierung und Integration mit bestehenden Systemen
- Datenbasis: Nextcloud als zentrale Dokumentenablage, von der das RAG-System seine Daten bezieht
- Frontend: Open WebUI für allgemeinen Chat-Zugriff, ggf. eigene Oberflächen für spezifische Use Cases
- Monitoring: Prometheus + Grafana für Systemüberwachung und KI-Nutzungsstatistiken
Dieser Stack ist vollständig on-premise betreibbar, läuft auf Standard-Server-Hardware, erfordert keine Cloud-Verbindung und kann vom Kunden nach einer Einarbeitungsphase eigenständig betrieben werden.
Warum Koreva auf Open Source setzt
Unsere Entscheidung für Open Source in KI-Projekten ist keine ideologische, sondern eine pragmatische. Wir arbeiten für Kunden, die langfristig handlungsfähig bleiben wollen — und das erfordert Unabhängigkeit von einzelnen Anbietern.
Wenn wir ein System implementieren und ein Kunde nach zwei Jahren entscheidet, es ohne uns weiterzubetreiben oder intern einen IT-Administrator einzustellen: mit einem Open-Source-Stack ist das möglich. Der Code ist offen, die Dokumentation ist zugänglich, die Community ist groß. Mit proprietären Systemen ist das oft nur unter erheblichem Zusatzaufwand oder gar nicht möglich.
Hinzu kommt: Kein Vendor Lock-in bedeutet auch keine Abhängigkeit von Preisänderungen. Proprietäre KI-Plattformen haben in den letzten Jahren ihre Preise regelmäßig angepasst — meistens nach oben, selten nach unten. Wer auf Open Source setzt, zahlt die Implementierungskosten einmalig und danach nur noch für Hardware und Betrieb.