Flexible Automatisierung ihrer KI-Rezepte
Mit der AI Script Engine können Prompts verwaltet und über Skripte miteinander zu Prompt-Kaskaden kombiniert werden. Dabei können die Prompts von verschiedenen Cloud- und OnPrem-Modellen verarbeitet werden, je nachdem wie sensibel die zu verarbeitenden Daten aus Sicht des Datenschutzes sind.
Datenschutz steht an erster Stelle
Für sensible Daten werden OnPrem-Modelle benötigt und diese können für die Verarbeitung der Prompt in der AI Script Engine registriert werden. Die Anbindung von OnPrem-Modellen erfolgt über Python-Konnektoren. Beispiel-Code vereinfacht hier die Integration von eigenen Modellen.
Sämtliche bei der Verarbeitung zu speichernden Daten werden in Rechenzentren der EU verschlüsselt gespeichert. Die Entschlüsselung findet nur für die Anzeige in der Web-App sowie für die tatsächliche Verarbeitung statt.
Automatische Skalierung reduziert Kosten
Je nach der Menge der zu verarbeitenden Prompts erfolgt automatisch eine Lastverteilung auf die zur Verfügung stehenden Cloud-APIs und OnPrem-Knoten. Vorgaben zur Antwortzeit aktivieren/deaktivieren automatisiert die entsprechenden Maschinen.
API-Integration schafft Flexibilität
Über ein Modell-übergreifendes einheitliches Referenzmodell der API-Schnittstelle wird eine Integration von KI in Ihrem System unabhängig von Deployment-Prozessen. Das Anpassen von Prompts, die Qualitätssicherung von Prompt-Kaskaden und der Wechsel zwischen den zu verwendenden KI-Modellen erfolgt flexibel und zeitnah über die Web-App der AI Script Engine.
Qualitätssicherung durch Test-Verfahren
Durch die Möglichkeit, Test-Cases für Prompts/Prompt-Kaskaden zu definieren, können die Ergebnisse von KI-Modellen kontinuierlich überwacht werden. Die Test-Verfahren bieten zudem ein modellübergreifendes Benchmarking und helfen so bei der Auswahl der geeignetsten Modelle.
Nachvollziehbarkeit
Alle Ein-/Ausgaben der Modelle werden verschlüsselt protokolliert und können im Nachgang fallspezifisch ausgewertet werden, um Schwachstellen zu identifizieren.
