NEWS. Technologie, Innovation & KI
KI Echtzeit-KI

Microsoft patentiert KI, die Sprache und Lippen live während Übertragungen umschreibt

Dokument von Microsoft Technology Licensing beschreibt ein System, das Wörter in Live-Übertragungen erkennt, ersetzt und synchronisiert und dabei die Lippen des Sprechers in Echtzeit anpasst

• Vor 2 Tagen aktualisiert
Patente da Microsoft descreve IA capaz de alterar palavras e sincronizar os lábios de apresentadores durante transmissões ao vivo, levantando questões sobre consentimento e regulação
Patente da Microsoft descreve IA capaz de alterar palavras e sincronizar os lábios de apresentadores durante transmissões ao vivo, levantando questões sobre consentimento e regulação (Redaktionelle Illustration / NEWS by Box4Dev)

Pontos-Chave

  • Das Patent wurde von Microsoft Technology Licensing eingereicht und deckt Konferenzen, Preisverleihungen, Gameshows, Kochsendungen und Sportübertragungen ab
  • Das System verwendet vordefinierte Parameter und das Profil jedes Zuschauers, um Audio und Video vor und nach jedem geänderten Wort zu retuschieren und sichtbare Schnitte zu vermeiden
  • Microsoft Research Asia stellte bereits im April 2024 VASA-1 vor, ein Modell, das realistische Gesichter mit bis zu 40 Bildern pro Sekunde aus einem einzigen Foto und Audio animieren kann

Microsoft Technology Licensing, der Intellectual-Property-Arm der Gruppe, hat ein Patent eingereicht, das ein KI-System beschreibt, um Wörter zu ändern und die Lippen von Sprechern während Live-Übertragungen zu synchronisieren. Das Dokument, das vom Überwachungsdienst Patentlyze enthüllt und von Futurism analysiert wurde, beschreibt KI-Agenten, die eine Rede in Echtzeit anhören, bestimmte Begriffe identifizieren und sie ersetzen oder entfernen können, bevor sie den Bildschirm des Zuschauers erreichen.

Der Mechanismus arbeitet in einem Nahe-Echtzeit-Fenster: Die KI erkennt das Wort, wendet die Ersetzung an und retuschiert das Audio und Video unmittelbar vor und nach dem geänderten Abschnitt, um wahrnehmbare Schnitte zu beseitigen. Laut der Analyse könnten die Ersatzbegriffe sogar aus einer Internetrecherche stammen. Microsoft wollte die Einreichung nicht kommentieren.

Was das Patent abdeckt

Der Umfang ist breit. Das Dokument erwähnt Konferenzen, Präsentationen, Preisverleihungen, Gameshows, Kochsendungen und Sportübertragungen. Zu den beschriebenen Anwendungen gehören die Sofortübersetzung mit synchronisierten Lippen in der Sprache des Zuschauers und die Unterdrückung von Sprachticks wie „äh“, Stottern und regionalen Ausdrücken.

Die Liste der eliminierbaren Wörter geht über Rauschen hinaus: Sie umfasst falsch ausgesprochene Begriffe, Versprecher, beleidigende oder als unangemessen erachtete Wörter. Basierend auf vordefinierten Parametern und dem Profil jedes Zuschauers könnte das System personalisierte Versionen desselben Live-Ereignisses liefern — jede Person erhält eine Übertragung, die von dem bereinigt ist, was sie nicht hören möchte.

Die technische Grundlage existiert bereits

Die Technologie beginnt nicht bei Null. Im April 2024 stellte Microsoft Research Asia VASA-1 vor, ein Modell, das ein realistisches Gesicht aus einem einzigen Foto und einer Audiodatei animiert, mit auf die Millisekunde synchronisierten Lippen und natürlicher Kopfbewegung. Laut der Veröffentlichung der Forscher läuft das System in Echtzeit mit bis zu 40 Bildern pro Sekunde. Damals entschied sich Microsoft, es nicht öffentlich zu machen.

Das Dokument sieht außerdem vor, dass das Original-Audio und -Video als „Ground Truth“ aufgezeichnet und bewahrt werden, um wiederherstellen zu können, was tatsächlich gesagt wurde. Das Patent legt jedoch nicht fest, wer Zugriff auf diese Aufzeichnung hätte und unter welchen Bedingungen.

Regulatorischer Druck in Europa

Ein Patent ist eine Absicht: Technologiegiganten reichen jährlich Tausende ein, und viele werden nie zum Produkt. Dennoch ist das Timing sensibel. In der Europäischen Union legt der Rechtsrahmen für Künstliche Intelligenz seit dem 2. August 2026 Transparenzpflichten für Systeme fest, die audiovisuelle Inhalte erzeugen oder manipulieren — einschließlich der Notwendigkeit, synthetisches oder verändertes Material zu kennzeichnen.

Die Kombination von Echtzeit-Retusche mit Personalisierung pro Zuschauer schafft eine zusätzliche Komplexitätsebene: Die Übertragung hört auf, ein einzelnes Objekt zu sein, und existiert in mehreren gleichzeitigen Versionen, jede mit unterschiedlichen Unterdrückungen. Das Microsoft-Dokument geht nicht darauf ein, wie das System die Anforderung zur Kennzeichnung manipulierter Inhalte erfüllen würde.

Der Fall entfacht auch die Debatte über Deepfakes im journalistischen und institutionellen Kontext neu. Wenn die Technologie zum Produkt wird, ist die zentrale Frage nicht mehr, ob die Veränderung technisch möglich ist — das ist sie bereits —, sondern wer den Knopf kontrolliert und wie die Öffentlichkeit erfährt, dass er gedrückt wurde.

Praktische Auswirkungen

Für Ingenieurteams signalisiert das Patent die Notwendigkeit von Stream-Processing-Architekturen mit kontrollierter Latenz, die Spracherkennung, Substitution und Lippen-Resynthese in einem Nahe-Echtzeit-Fenster verketten können. VASA-1 mit 40 Bildern pro Sekunde demonstriert die technische Machbarkeit, erfordert jedoch synchronisierte Audio- und Video-Pipelines sowie eine „Ground Truth“-Aufzeichnung, die die Reversibilität der Änderungen gewährleistet.

Operativ fragmentiert die Personalisierung pro Zuschauer die Übertragung in ein multiples Objekt und wirft Governance-Fragen auf: Wer greift auf die Originalaufzeichnung zu und wer löst die Unterdrückungen aus? Unter dem EU-KI-Gesetz, das seit dem 2. August 2026 in Kraft ist, stellt das Fehlen eines Mechanismus zur Kennzeichnung manipulierter Inhalte im Dokument das Hauptadoptionsrisiko und den Hauptkostenfaktor für die Compliance dar.