MarbleRun ermöglicht Bosch‘s Confidential AI-Pipeline in der Public Cloud

• Bosch ist ein globales Technologie- und Ingenieurunternehmen mit über 420.000 Mitarbeitern und einem jährlichen Umsatz von mehr als 80 Mrd. €. Einer der Hauptbereiche besteht in der Entwicklung von automatisierten Fahrsystemen.
  
  
• Entwickler von Bosch trainierten ein KI-Modell mit Videoaufnahmen, die mit einer nach vorne gerichteten Autofahrerkamera aufgenommen wurden, um ihre automatisierten Fahrfähigkeiten zu verbessern. Da sie Cloud-Dienste nutzen wollten, aber dennoch die DSGVO einhalten mussten, verschlüsseln sie die Daten mithilfe von Confidential Computing Technologie (Intel SGX).
  
  
• Bosch wählte MarbleRun aus, um die auf Confidential Computing basierende KI-Pipeline zu skalieren und zu verifizieren. Marble Run half speziell dabei:
  
  - sicherzustellen, dass der Verifizierungsprozess einfacher und besser ist,
  
  - eine sichere Service-zu-Service-Kommunikationsebene bereitzustellen, welche eine unabhängige Skalierung der Pipelineschritte ermöglicht falls dies erforderlich ist und
  
  - zukünftige Zugriffsrichtlinien zu definieren, um den sicheren Zugriff für Day-2-Operationen zu gewährleisten, wie z.B. die Pflege und Aktualisierung der Pipeline.
  
  - Bosch kann nun begrenzen und anderen, z.B. Regulierungsbehörden, nachweisen, dass keiner ihrer Mitarbeiter (und auch sonst keiner) Zugriff auf die Rohdaten mit persönlichen Identifikationsinformationen (PII) hat und damit weiterhin den Anforderungen der DSGVO entspricht.

Über Bosch

Bosch ist ein globales Technologie- und Ingenieurunternehmen mit Schwerpunkt auf Automobil- und Industrieanwendungen, Verbraucherprodukten sowie Energie- und Bau-Lösungen. Sie beschäftigen über 420.000 Mitarbeiter und erwirtschaften einen jährlichen Umsatz von über 80 Milliarden €. Ein wesentlicher Aspekt ihrer Geschäftsbereiche ist die Entwicklung von automatisierten Fahrsystemen über den Bosch-Mobilitätssektor.

Um ihre fortschrittlichen Fahrerassistenzsysteme (ADAS) zu verbessern, führte Bosch ein Projekt zur Sammlung von Straßendaten durch. Sie filmten Straßen mit einer nach vorne gerichteten Autofahrerkamera, beschrifteten das Video und nutzten es, um ihr neuronales Netzwerk zu trainieren.

Herausforderung

Bei der Verarbeitung öffentlich gesammelter Videodaten musste Bosch unterscheiden, wie sie mit zwei Arten von Informationen umgingen: persönlich identifizierbare Informationen (PII) wie Gesichter und Autokennzeichen sowie anderen nicht-PII-Daten. Beide Arten von Daten wurden zwischen vielen Werkzeugen in einer komplexen KI-Pipeline ausgetauscht. Bosch benötigte spezielle Technologie, um diesen Prozess sicher zu halten, die Informationen vertraulich zu teilen und den strengen europäischen DSGVO-Anforderungen zu entsprechen.

Die DSGVO beschränkt die Verwendung von persönlichen Daten erheblich. Die Entwickler von Bosch wussten, dass diese äußerst nützlichen Daten auch ein Haftungsrisiko darstellen könnten, wenn sie nicht ordnungsgemäß gespeichert und verarbeitet würden. Früher hätte die Einhaltung der strengen Datenschutzanforderungen erfordert, dass die Informationen "on-prem" behandelt würden. Die Kosten für eine solche Infrastruktur für jedes einzelne Projekt wären jedoch exorbitant gewesen und daher langfristig nicht realistisch.

Die Sicherheitsarchitekten von Bosch haben verstanden, dass Confidential Computing eine gesetzeskonforme, ethische und kostengünstige Verarbeitung der Daten, auch auf Microsoft Azure, ermöglicht. Die Umsetzung einer skalierbaren und wirklich vertraulichen KI-Pipeline war jedoch eine Herausforderung.

Während einzelne Dienste in dieser Pipeline bereits vertraulich waren, war die Übermittlung von Informationen zwischen ihnen auf sichere Weise nicht einfach. Mehrere Herausforderungen mussten angegangen werden, um die Privatsphäre zu gewährleisten.

Verifizierung

• Die Gewährleistung der Vertraulichkeit, Integrität und Authentizität der Pipeline ist für alle beteiligten Interessensgruppen von entscheidender Bedeutung. Dritte, wie Regulierungsbehörden, müssen möglicherweise die Pipeline als Ganzes verifizieren.
  
  
• Der Verifizierungsprozess sollte anstatt einzelner Dienste das gesamte Deployment abdecken und zu jedem beliebigen Zeitpunkt anwendbar sein, einschließlich Skalierungsmaßnahmen.
  
  

Sichere Kommunikation zwischen Diensten

• Die vielfältige Struktur der Pipeline erfordert eine sichere Kommunikation zwischen den Diensten durch Verschlüsselung und Authentifizierung.
  
  
• Die Umsetzung dieser Maßnahmen auf Anwendungsebene würde die Trennung der Anliegen verwischen und Änderungen in der gesamten Anwendung erfordern.
  
  
• Um diese Herausforderung zu bewältigen, kann eine Service-Mesh-Architektur eingesetzt werden.
  
  
• Die Vertraulichkeit der Pipeline erfordert, dass die Verschlüsselung und Authentifizierung, die vom Service-Mesh bereitgestellt werden, während der Remote-Attestation überprüft werden können.
  
  

Day-2 Betrieb

• Die Pipeline sollte nicht als "fire and forget"-System behandelt werden, sondern vielmehr als cloudbasierte Anwendung, die kontinuierliche Wartung erfordert. Dazu gehören Aktivitäten wie Updates, Zugriffsverwaltung, Änderungen an Konfigurationsparametern, Verwaltung von geheimen Daten und Migration.
  
  
• All diese Operationen müssen ordnungsgemäß authentifiziert und überprüfbar sein. Darüber hinaus sollte der Verifizierungsprozess des Systems bestimmen, wer welche Operationen durchführen darf.

Lösung

Durch eine Kombination aus TensorFlow, KubeFlow, Gramine, MarbleRun und Intel SGX auf Azure-Cloud-Infrastruktur, konnten die Entwickler von Bosch eine Ende-zu-Ende vertrauliche KI-Pipeline erstellen.

MarbleRun spielte eine Schlüsselrolle bei der Bewältigung aller drei Herausforderungen.

Überprüfung

• MarbleRun vereinfacht den Überprüfungsprozess, indem er ihn von individuellen Trusted Execution Environments auf das gesamte Deployment der Pipeline verlagert.
  
  
• Dies wird durch ein Deployment-Manifest erreicht, das die Identität jedes Dienstes, ihre Metadaten, die gewünschten Verbindungen zwischen ihnen und rollenbasierte Zugriffssteuerungen umreißt.

Sichere Service-to-Service-Kommunikat

• MarbleRun nutzt das Deployment-Manifest, um individuelle Pipelinedienste durch Remote-Attestierung zu authentifizieren.
  
  
• Es konfiguriert diese Dienste mit ihren Deployment-Metadaten und stellt jedem individuelle Identitätszertifikate auf Basis der Zertifizierungsstelle von MarbleRun aus.
  
  
• Diese Zertifikate werden dann verwendet, um verschlüsselte und authentifizierte Verbindungen zwischen den Diensten herzustellen.
  
  
• Indem MarbleRun diese sichere Service-to-Service-Kommunikation (Service-Mesh-Ebene) bereitstellt, ermöglicht es eine unabhängige Skalierung der Pipeline-Schritte, ohne die Notwendigkeit einer expliziten Authentifizierung und Verschlüsselung der Service-to-Service-Kommunikation auf der Anwendungsebene.

Day-2 Operationen

• Die rollenbasierte Zugriffssteuerung, die im MarbleRun-Manifest definiert ist, ermöglicht eine genaue Spezifikation autorisierter Entitäten und ihrer Operationen auf der Bereitstellung der Pipeline.
  
  
• Zum Beispiel kann einem DevOps-Entwickler die Berechtigung erteilt werden, die API für den Datenbankzugriff zu ändern, während einem Release-Entwickler die Autorität zur Aktualisierung von Serviceversionen erteilt werden kann, aber nur nach Bestätigung durch zwei zusätzliche Entwickler.
  
  
• MarbleRun stellt den kontinuierlichen Betrieb und die Wartbarkeit eines Produktionssystems sicher, indem es diese Zugriffssteuerungsrichtlinien durchsetzt, ohne die Sicherheitsvorteile der Confidential Computings zu beeinträchtigen.
  
  

Mit allen Diensten, die in SGX-Enklaven ausgeführt werden, sind die PII-Daten während der Verarbeitung zu jeder Zeit verschlüsselt.

• MarbleRun stellt sicher, dass die Daten auch während der Übermittlung zwischen den Autos, der Anonymisierung und dem KI-Training verschlüsselt sind. Wenn Daten in einer Datenbank zwischen der Anonymisierung und dem Training gespeichert werden, stellt MarbleRun Schlüssel bereit, die nur innerhalb des SGX-Kontexts vorhanden sind.
  
  
• Zu keinem Zeitpunkt hätte daher jemand Zugriff auf die PII-Daten außer den Verarbeitungsdiensten innerhalb von SGX. Day-2 Operationen, getrennt von den PII-Daten, können sicher vom DevOps-Team durchgeführt werden, wobei das Manifest den Zugriff präzise steuert und dies nach Bedarf auch nachträglich protokolliert.

Ergebnis

Durch die effektive Verschlüsselung in wichtigen Teilen des Video- und Bildverarbeitungsmechanismus verfügt Bosch über eine hoch skalierbare KI-Pipeline und die Fähigkeit, Daten in Azure zu verarbeiten.

Die strikte Einhaltung europäischer Vorschriften und Datenschutzrichtlinien wird gewährleistet, ohne Abstriche bei den Analysefähigkeiten und zu angemessenen Kosten. Diese Erfolge sind der Flexibilität einer Public Cloud zu verdanken.

Durch die Tools von Confidential Computing stellen die gesammelten Daten von Bosch kein Risiko, sondern einen Vorteil dar.