Case study: IT.NRW
Information und Technik NRW (IT.NRW) ist der IT-Dienstleister des Landes und Statistisches Landesamt für Nordrhein-Westfalen. IT.NRW betreibt, optimiert, administriert und überwacht grundlegende Bereiche der IT-Infrastruktur der Landesverwaltung NRW.
Der demografische Wandel in Nordrhein-Westfalen führt zu zunehmenden unbesetzten Stellen und Wissensverlust in der Verwaltung. Um die Handlungsfähigkeit zu sichern, ist der Einsatz neuer Technologien wie KI und die Unterstützung der Beschäftigten notwendig. Hierfür hat das Land NRW gemeinsam mit Capgemini den KI-Assistenten NRW Genius entwickelt, ein Baustein für eine effiziente und nutzerfreundliche Verwaltung.
Mit etwa 18 Millionen Bürgerinnen und Bürgern, 300.000 Beschäftigten im öffentlichen Dienst und 427 Kommunen mit weiteren Mitarbeitern erfordert die Verwaltung hoch skalierbare Lösungen. Die Verarbeitung großer Mengen an textbasierten Dokumenten, internen Daten und personenbezogenen Daten verlangt eine sichere Datenhandhabung.
Die Rechenzentren in NRW verfügen über begrenzte KI-Kapazitäten, und die Anschaffung neuer GPU-Hardware ist zeitaufwendig und kostspielig. Daher wird eine sichere, datenschutzkonforme Verarbeitung in der Cloud angestrebt.
Die Nutzung einer Public Cloud ist für die Skalierung unerlässlich. Allerdings benötigt ein Großteil der von NRW Genius verarbeiteten Daten hohen Schutz, insbesondere personenbezogene Daten, die IT.NRW KI-Service- oder Cloudanbietern nicht anvertrauen möchte.
Privatemode AI, der auf Confidential Computing basierende KI-Dienst von Edgeless Systems, bietet hierfür einen passenden Ansatz. Mit Confidential Computing bleiben Daten nicht nur während der Speicherung und Übertragung, sondern auch während der Verarbeitung verschlüsselt. Die CPU- und GPU-Hardware im Backend kann Daten selektiv innerhalb ihrer internen Strukturen entschlüsseln. Diese Strukturen sind von außen nicht zugänglich – selbst für privilegierte Angreifer wie Systemadministratoren oder Rechenzentrumsmitarbeiter des Cloud-Anbieters.
Kurz gesagt kann mit Privatemode AI also ein LLM skalierbar aus einer Public Cloud eingebunden werden, wobei Daten, wie bspw. KI-Prompts jederzeit verschlüsselt und somit vor Zugriff durch den Cloud- oder Modellanbieter geschützt sind.
Mit Privatemode AI hat IT.NRW ein führendes Open-Source-KI-Modell (aktuell Llama 3.3 70B) via eine standardisierte API für den KI-Assistenten NRW Genius einfach und schnell angebunden und kann nun für die KI- Inferenz Public Cloud Ressourcen ohne Sicherheitsbedenken nutzen. Die zentralen Sicherheitsmechanismen werden darüber hinaus aktuell im Rahmen einer Studie durch einen externen Akteur geprüft.
Please fill out the form and our experts will be in contact with you.
The form failed to load. Please send an email to contact@edgeless.systems. Loading likely fails because you are using privacy settings or ad blocks.
