Produkt
RAGnaroX – der auditierbare RAG- und ChatOps-Stack
Ein ressourceneffizienter KI-Assistent, der vollständig auf Ihrer Hardware läuft: modulare Datenintegration, hybride Suche und Funktionsaufrufe in Ihre bestehenden Systeme – entwickelt in Rust, betrieben mit kompakten Sprachmodellen (SLMs).
So funktioniert RAGnaroX – in zwei Bausteinen
1. Datenintegration
RAGnaroX bindet Ihre vorhandenen Quellen modular an – z. B. GitLab, Redmine, Fileserver, Wikis, E-Mails. Dokumente werden in Markdown konvertiert, entlang ihrer Überschriften-Hierarchie in sinnvolle Abschnitte zerlegt und mit dichten und spärlichen Vektoren (semantische Suche + BM25) in einer eingebetteten Datenbank abgelegt. Jeder Wissensbaustein behält Quelle und Zeitstempel.
2. Suche & Antwortgenerierung
Zu jeder Frage kombiniert RAGnaroX Stichwortsuche (BM25) und semantische Suche, entfernt Duplikate und sortiert die Treffer mit einem spezialisierten Reranker-Modell. Ein weiteres kompaktes Modell entscheidet, ob Funktionen Ihrer Systeme aufgerufen werden sollen (ChatOps via MCP). Die Antwort wird gestreamt – inklusive der verwendeten Textstellen zur Überprüfung.
ChatOps: Wissen, das handelt
RAGnaroX beantwortet nicht nur Fragen – es macht abgerufenes Wissen operativ nutzbar. Über das Model Context Protocol (MCP), einen offenen Industriestandard, ruft der Assistent registrierte Funktionen Ihrer Systeme auf. Beispiel aus unserem Demo-Video: Ein Support-Mitarbeiter recherchiert in der Produktdokumentation und legt im selben Chat ein neues Issue im Ticketsystem an – ohne Systemwechsel.
- GitLab: Issues anlegen, Projektinformationen abfragen
- Redmine: Tickets und Wiki-Inhalte einbinden
- Erweiterbar: Jedes System mit MCP-Schnittstelle kann angebunden werden
Bescheidene Hardware, messbare Leistung
Zielkonfiguration ist ein handelsüblicher Rechner mit 64 GB RAM und einer Grafikkarte mit 24 GB VRAM (z. B. NVIDIA RTX 4090). Mit der laufenden Verbesserung kompakter Sprachmodelle sinken die Anforderungen weiter – mittelfristig in Richtung RTX-4060-Klasse. Modelle mit weniger als 5 Mrd. Parametern erreichen in unserem Aufbau Antwortzeiten unter 2,5 Sekunden bei einfachen Fragen und unter 3,8 Sekunden bei mehrstufigen Fragen.
| Eigenschaft | RAGnaroX |
|---|---|
| Betrieb | 100 % On-Premises, ohne Cloud-Abhängigkeit |
| Implementierung | Rust-Microservices (HTTP/JSON), Web-Frontend mit WASM |
| Inferenz | llama.cpp, quantisierte kompakte Sprachmodelle (SLMs) |
| Suche | Hybrid: BM25 + semantische Suche, Reranking |
| Integration | GitLab, Redmine, Dateien u. a. – erweiterbar via MCP |
| Hardware | ab Commodity-PC mit 64 GB RAM / 24 GB VRAM |
| Sprachen | evaluiert für Deutsch, Englisch, Spanisch |