Aus den Unternehmen

DARPA erteilt PARC Auftrag zur Förderung des Erlernens komplexer Fertigkeiten durch künstliche Intelligenz und Augmented Reality

Donnerstag 13. Januar 2022 - AMIGOS-Projekt ermöglicht Echtzeit-Feedback und Instruktionen für Spezialisten zur Ausführung physischer Aufgaben.

PARC, ein Unternehmen der Xerox Holdings Corporation (NYSE: XRX) hat von der Defense Advanced Research Projects Agency (DARPA) einen Auftrag in Höhe von 5,8 Millionen Dollar erhalten. In Zusammenarbeit mit der University of California in Santa Barbara, der Universität Rostock und Patched Reality, einem Unternehmen für Augmented Reality, soll ein System mit künstlicher Intelligenz entwickelt werden, welches Nutzer bei komplexen physischen Aufgaben unterstützt, die über ihre Expertise hinausgehen. Das System wandelt text- und videobasierte Anleitungen in ein Format um, das vom Computer verarbeitet werden kann. Außerdem wird es die Nutzer mittels AR-Anleitungen bei der Erbringung von Aufgaben leiten und gleichzeitig die Ausführung der Aufgaben monitoren.
PARC wird die Leitung des Projekts mit der Bezeichnung „Autonomous Multimodal Ingestion for Goal-Oriented Support“ (AMIGOS) für das Perceptually-enabled Task Guidance Program übernehmen. Das Projekt führt neue Methoden ein, um Verfahrenswissen aus Inhalten zu gewinnen, die Umgebung wahrzunehmen, Schlussfolgerungen über physische Aufgaben zu ziehen und Konversations- und AR-Anleitungen zu ermöglichen, die auf den individuellen Kenntnisstand des Nutzers zugeschnitten sind. Ziel ist es, Spezialisten in die Lage zu versetzen, Aufgaben ausführen zu können, indem sie just-in-time Feedback und Anweisungen für physische Aufgaben erhalten.
„Augmented Reality, Computer Vision, Sprach- und Dialogverarbeitung sowie logisches Denken sind allesamt KI-Technologien, die bereits eine Vielzahl von Branchen auf den Kopf gestellt haben. Allerdings noch nie in einer so koordinierten und synergetischen Weise“, so Dr. Charles Ortiz, leitender Forscher von AMIGOS. „Durch die Nutzung vorhandener Lehrmaterialien zur Erstellung neuer AR-Anleitungen wird das AMIGOS-Projekt diese Entwicklung beschleunigen. Dies gelingt durch die Bereitstellung von Anleitungen und Feedback in Echtzeit.“
Das Projekt wird der DARPA zwei wichtige Systeme liefern: Einerseits wird es eine Offline-Komponente geben, die anhand von Modalitäten wie Sprache und Sehen lernt, um Anleitungs-Schritte aus ungekennzeichneten Inhalten zu extrahieren, die erforderlich sind, um eine Aufgabe ausführen zu können – einschließlich Textanweisungen aus Handbüchern, Illustrationen und Lehrvideos. Dabei sind ungekennzeichnete Inhalte Daten, die nicht mit Markierungen versehen wurden, die Merkmale, Eigenschaften oder Klassifizierungen enthalten. Die zweite Komponente ist eine Online-Komponente, die einen hybriden KI-Ansatz verwendet, der sowohl symbolische als auch neuronale KI-Elemente kombiniert. Dadurch sollen interaktive AR-Anleitungen auf der Grundlage von den aus der Offline-Komponente extrahierten Informationen erstellt werden. Dabei wird die vom System gelieferte Anleitung auf die individuellen Fähigkeiten sowie den aktuellen Gefühlszustand des Nutzers zugeschnitten sein. Das bedeutet, dass die Anleitung in der Lage sein wird, zu erkennen, ob der Nutzer beispielsweise aufgeregt oder nervös ist. 
Xerox und PARC investieren weiterhin stark in den AR-gestützten Außendienst. Anfang des Jahres gab Xerox die Gründung seines Softwareunternehmens CareAR, einer Xerox Company, bekannt. Dieses vereint CareAR, Inc., DocuShare und XMPie unter einer einzigen Holdinggesellschaft namens CareAR Holdings. Die CareAR-Plattform für Kundenservice unterstützt Mitarbeitende mit den visuellen Werkzeugen und dem Zugang zu Daten, die erforderlich sind, um sowohl Servicemitarbeitern als auch Endkunden eine gleichbleibend hohe Qualität zu bieten und gleichzeitig die Betriebskosten und Treibhausgasemissionen der Dienstleister zu senken. Die im Rahmen des AMIGOS-Projekts gewonnenen Erkenntnisse werden in die zukünftige Produktentwicklung von CareAR einfließen.