Zum Inhalt springen
RAGnaroXSecure on-premises AI
DE EN

Technologie & Forschung

Wissenschaftlich evaluiert statt nur versprochen

RAGnaroX wurde gemeinsam mit der Universität Innsbruck entwickelt und auf der ICSE 2026 – einer der führenden internationalen Konferenzen für Software-Engineering – als peer-reviewtes Paper publiziert.

Benchmark-Ergebnisse im Überblick

Die Evaluierung erfolgte auf drei etablierten Datensätzen, die typische Herausforderungen im Praxiseinsatz abbilden: SQuAD v1.1 (einfache Faktenfragen), MultiHopRAG (mehrstufige Fragen über mehrere Dokumente) und MLQA (sprachübergreifende Fragen). Gemessen wurde mit dem RAGAS-Framework auf einer NVIDIA RTX 4090.

MessgrößeSingle-Hop (SQuAD)Multi-Hop (MultiHopRAG)
Context Precision0,90 (@5)0,42 (@4)
Context Recall0,94 (@5)0,52 (@4)
Antwortzeit (Modelle < 5 Mrd. Parameter)< 2,5 s< 3,8 s

Bemerkenswert: Das kompakteste getestete Modell (Qwen3 mit 4 Mrd. Parametern) erzielte bei einfachen Fragen die höchste Faithfulness (0,86) und Answer Relevancy (0,82) – mehr Modellgröße bedeutet nicht automatisch bessere Antworten aus Ihren Daten. Bei mehrstufigen Fragen liegt die Abrufqualität auf dem Niveau vergleichbarer mehrsprachiger Embedding-Modelle; hier arbeiten wir an einer Knowledge-Graph-Integration als nächstem Entwicklungsschritt. Transparenz gehört für uns dazu – auch bei den Grenzen.

Praxistest mit realen Kundendaten

Über die Standard-Benchmarks hinaus wurde RAGnaroX an einem dokumentationsbasierten Anwendungsfall von CASABLANCA hotelsoftware mit 250 Frage-Antwort-Paaren getestet. Das Ergebnis: Das cloudbasierte Produktivsystem mit aktuellen kommerziellen Modellen erreichte einen um 7 % höheren Context Recall@10; bei der Antwortrelevanz lagen beide Systeme nahezu gleichauf. RAGnaroX kann reale Unternehmensdaten verarbeiten – ohne Cloud, ohne kommerzielle Modell-APIs.

Forschungsprojekt GENIUS

RAGnaroX entsteht im Rahmen des Forschungsprojekts GENIUS (ITEA4), gefördert durch die FFG (Fördernummer 921318), in Zusammenarbeit mit dem Institut für Informatik der Universität Innsbruck. Das Paper „RAGnaroX: A Secure, Self-Employed ChatOps Assistant Using Small Language Models” erscheint in den Proceedings der 48th International Conference on Software Engineering (ICSE 2026, Rio de Janeiro).