- Microsoft zielt darauf ab, seine Systeme intelligenter und effizienter zu gestalten, wobei Copilot produktivitätssteigernde Antworten aus E-Mails, Teams-Chats und Dateien abrufen kann. . Forscher Michael Bargury demonstrierte auf einer Sicherheitskonferenz, wie Copilot in Microsoft 365-Anwendungen von Hackern manipuliert werden kann, um z.B. private Daten zu exfiltrieren oder Sicherheitsvorkehrungen zu umgehen. . Bargurys Vorführungen zeigten, wie AI in automatisierte Phishing-Maschinen umgewandelt werden kann, die personalisierte bösartige Nachrichten versenden. . Microsoft arbeitet daran, die aufgedeckten Schwachstellen zu bewerten und Lösungen zu entwickeln, um ihre AI-Systeme sicherer zu machen. . Experten wie Bargury und Rehberger fordern verstärkte Überwachung und Kontrolle von AI-Systemen und spezifische Maßnahmen zur Einschränkung des Datenzugriffs.
Microsoft strebt danach, seine Systeme noch intelligenter und effizienter zu gestalten. Stellen Sie eine Frage zu einem bevorstehenden Meeting, und die Systeme der Firma können Antworten aus Ihren E-Mails, Teams-Chats und Dateien abrufen—potenziell ein massiver Produktivitätsschub. Doch genau diese Prozesse können auch von Hackern missbraucht werden. Auf der Sicherheitskonferenz in Las Vegas, demonstrierte der Forscher Michael Bargury fünf Proof-of-Concept-Methoden, wie Copilot, das auf Microsoft 365-Anwendungen wie Word läuft, von böswilligen Akteuren manipuliert werden kann. Dies umfasst das Erstellen falscher Datei-Referenzen, das Exfiltrieren privater Daten und das Umgehen von Microsofts Sicherheitsvorkehrungen.
Böse Machenschaften mit automatisierter Unterstützung
Eine der alarmierendsten Vorführungen ist zweifelsohne Bargurys Fähigkeit, die Künstliche Intelligenz in eine automatisierte Phishing-Maschine zu verwandeln. Getauft auf den Namen “Red-Teaming-Code”, kann das von Bargury erstellte Programm—wenn ein Hacker Zugang zu einer Arbeits-E-Mail hat—den Copilot dazu nutzen, um regelmäßig über E-Mail kommunizierte Kontakte zu analysieren, eine Nachricht im Stil des Nutzers zu erstellen (inklusive Emoji-Nutzung) und diese personalisierten Nachrichten mit bösartigen Links oder Malware zu versenden. “Ich kann das mit jeder Person tun, mit der Sie jemals gesprochen haben, und hunderte E-Mails in wenigen Minuten versenden,” sagt Bargury.
Diese Demonstrationen sowie andere von Bargury entwickelte Angriffe funktionieren breit gefächert durch die Nutzung des Large Language Models (LLM) wie vorgesehen: getippte Fragen, um Daten abzurufen. Durch das Einfügen zusätzlicher Daten oder Anweisungen können jedoch bösartige Ergebnisse erzeugt werden. Die Forschung hebt einige der Herausforderungen hervor, die entstehen, wenn AI-Systeme mit Unternehmensdaten verbunden werden und was passiert, wenn “unvertrauenswürdige” Außendaten ins Spiel gebracht werden.
Schutzmaßnahmen und zukünftige Herausforderungen
Ein weiteres von Bargury entwickeltes Szenario zeigt, wie ein Hacker—der bereits ein E-Mail-Konto gekapert hat—auf sensible Informationen wie Gehälter zugreifen kann, ohne dass Referenzen zu den Dateien gegeben werden. Bargurys Anweisung zwingt das System dazu, diese Belege zu unterdrücken. “Eine gewisse Einschüchterung hilft,” bemerkt Bargury. Andere Beispiele zeigen, wie ein Angreifer, der keinen Zugriff auf E-Mail-Konten hat, aber die AI-Datenbank durch das Versenden einer bösartigen E-Mail vergiftet hat, das System dazu bringen kann, ihre eigenen Bankdetails zu liefern.
Laut Phillip Misner, Leiter der AI-Vorfallserkennung und -reaktion bei Microsoft, ist das Unternehmen dankbar, dass Bargury die Schwachstellen aufgezeigt hat, und arbeitet derzeit daran, diese zu bewerten und Lösungen zu entwickeln.
Wie sich generative AI-Systeme wie Copilot, welche im letzten Jahrzehnt entwickelt wurden, in die Unternehmenswelt integrieren, zeigt sich immer mehr das Potenzial und die Risiken. Sicherheitsexperten warnen konsequent, dass die Integration externer Daten in AI-Systeme—sei es durch E-Mails oder den Zugriff auf Webinhalte—Sicherheitsrisiken durch Injektion und Vergiftungsangriffe darstellt. Bargury und andere fordern Unternehmen, den Fokus stärker auf die Überwachung und Prüfen der durch AI gesendeten Inhalte zu legen.
Blick in die Zukunft der Sicherheit
Bargury sagt, Microsoft hat erheblichen Aufwand betrieben, um das Copilot System vor Angriffsvektoren zu schützen, aber er fand immer noch Wege, es auszunutzen. Dies beinhaltete das Entschlüsseln, wie das System aufgebaut ist und welche Techniken es nutzt, um auf Daten zuzugreifen. Johann Rehberger, Sicherheitsforscher und Red-Team-Direktor, ergänzt, dass das Problem oft darin liege, dass viele Unternehmen zu viele Mitarbeiter mit weitreichendem Datenzugriff hätten. Die Integration von Copilot erhöhe diese Problematik nur noch mehr.
Sowohl Rehberger als auch Bargury plädieren für eine verstärkte Überwachung der AI-Produktion und eine verstärkte Kontrolle dessen, was eine AI auf Anweisung des Nutzers ausführt.
