3D-Kameras und neuronale Netze für die Produktion
Projekt Ennos: integrierter Prozessor analysiert und verarbeitet Farb- und Tiefeninformationen
Die Produktion der Zukunft ist nachhaltig, flexibel und vernetzt. Intelligente Systeme agieren autonom oder gemeinsam mit den Menschen und unterstützen ihn bei schwierigen und gefährlichen Arbeiten. Sie nutzen Sensoren als Sinnesorgane, um ihre Umgebung wahrzunehmen und sicher mit uns zusammenzuarbeiten. Besonders optische Sensoren lassen sich vielseitig zur Erfassung von Arbeitsprozessen und -umgebungen einsetzen.
Im Projekt Eingebettete Neuronale Netze für Optische Sensoren zur flexiblen und vernetzen Produktion – Ennos – wird ein kompaktes Kamerasystem entwickelt, das die Farb- und Tiefeninformationen einer 3D-Kamera direkt auf einem integrierten Prozessor mit tiefen neuronalen Netzwerken (Deep Neuronal Networks) analysiert und verarbeitet.
Die eingesetzten Verfahren des maschinellen Lernens sollen eine leistungsfähigere Interpretation der Kameradaten ermöglichen und haben sehr großes Potenzial, Maschinen in Zukunft anpassungsfähiger zu gestalten. Das neuronale Netz dient dabei als „künstliches Gehirn“ zur Entscheidungsfindung für vordefinierte Fragestellungen und wird auf einem sogenannten FPGA-Chip ausgewertet.
FPGAs sind integrierte Schaltkreise, die sich nachträglich für unterschiedliche Aufgaben programmieren lassen. Die auf der Embedded-Lösung des Ennos-Konsortialleiters Bosch eingesetzten FPGAs bieten Vorteile gegenüber klassischen Prozessoren in Bezug auf Flexibilität, Leistung und Energieverbrauch. Aufgrund der begrenzten Kapazität der Chips müssen die programmierbaren Architekturen kleiner und kompakter sein.
Die Herausforderung liegt darin, die komplexe Struktur und Größe moderner neuronaler Netze effizient in eine passende und kompakte Prozessor-Architektur umzuwandeln. Wissenschaftler des DFKI-Forschungsbereichs Augmented Vision entwickeln im Projekt Entscheidungsalgorithmen und Methoden, die neuronale Netze in der Anzahl ihrer Neuronen reduzieren und effizienter machen. Dabei werden Netzwerkgröße und Topologie optimiert, beispielsweise durch das Entfernen (Pruning) überflüssiger Neuronen oder deren Verbindungen (Weight Sharing).
Einen weiteren Innovationssprung des Projekts verspricht die Integration von ultra-kompakten 3D-Kameras des assoziierten Projektpartners PMD Technologies, dem weltweit führenden Anbieter für CMOS-basierte 3D Time-of-Flight Bildsensor-Technologie. 3D-Kameras von PMD werden bereits in diversen Smartphones, Augmented-Reality Brillen, Autos und Industrierobotern eingesetzt und ermöglichen zahlreiche Applikationen. Die vielfältig einsetzbaren optischen Sensoren eignen sich in besonderer Weise zur flexiblen und schnellen Erfassung von Informationen über komplexe Zustände und Umgebungen.
Die neue intelligente Kameraplattform wird in drei verschiedenen Anwendungsszenarien bei den Verbundpartnern eingesetzt: Ferndiagnose mit automatischer Anonymisierung von Personen, semantische 3D-Szenensegmentierung für die Robotik, und als Assistenzsystem für Bestandsaufnahmen in großen Anlagen
Das Bundesministerium für Bildung und Forschung fördert Ennos in den nächsten drei Jahren im Rahmen der Fördermaßnahme „Photonik für die flexible, vernetzte Produktion – Optische Sensorik“. Das Projektvolumen beträgt insgesamt 3,3 Millionen Euro, davon wird fast die Hälfte durch die beteiligten Industriepartner aufgebracht.
DFKI / od
Weitere Infos
Meist gelesen
Photobatterie mit hoher Spannung
Kombination aus Polymerbatterie und einer organischen Mehrfachsolarzelle.
OLED mit kabelloser Stromversorgung
Kombination aus OLED und akustischer Antenne als Lichtquelle für minimalinvasive Eingriffe.
CO2-Filter kommen teurer als erhofft
Auch im Jahr 2050 wird es noch bis zu 540 Dollar kosten, eine Tonne Kohlendioxid aus der Luft zu entfernen.
Kleidungs-Check per Infrarot-Spektroskopie
Kombination von Bildgebung, speziellen KI-Algorithmen und Spektroskopie kann selbst Mischgewebe zuverlässig erkennen.
High-NA-EUV-Lithographie für die Produktion modernster Mikrochips
Mit dem optischen System von Zeiss sollen ab 2025 die ersten Mikrochips in Serie gefertigt werden.