Sprint zum Machine Vision-Prototyp

Exklusiv für Abonnenten

Fahrzeug-Farbklassifikation

Zur darauf folgenden Fahrzeug-Farbklassifikation wurde dasselbe Deep Learning-Objekterkennungsmodell wie oben genutzt, um die Autos zu erkennen, gefolgt von einer Bildanalyse anhand der Begrenzungsrahmen, um die Farbe zu klassifizieren. Die Ausgabe enthält Begrenzungsrahmen der Fahrzeuge zusammen mit den entsprechenden Nummernschildzeichen. Bei der Kamera handelte es sich um eine Blackfly S 3 MP Platinenfarbkamera (BFS-U3-32S4C-BD) mit Sony IMX252-Sensor. Entwicklungszeit: Es konnte da bereits vorhandene Modell zur ‘Fahrzeugtyp-Anwendung’ genutzt werden, plus zwei Tage für die Erweiterung auf Farbklassifikation inklusive Integration und Test. Testbilder: Die 300 vorhandenen Aufnahmen.

Die Einkaufsliste:

Die Quartet-Trägerplatine für TX2 von Teledyne FLIR bietet vier TF38-Anschlüsse mit dedizierten USB3-Controllern und ein Nvidia Jetson TX2-Modul. Das Spinnaker SDK des Herstellers ist vorinstalliert, was Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras ermöglichen soll.Drei Standard-Platinenkameras der Reihe Blackfly S

Eine kundenspezifische Platinenkamera mit Sony IMX250MZR-Polarisationssensor

TF38-FPC-Kabel, die Strom und Daten über ein einziges Kabel übertragen können

LED-Leuchten beugen etwaiger Bewegungsunschärfe vor

Frontscheibeneinblick

Die Reduzierung von Blendlicht spielt bei verkehrsspezifischen Anwendungen eine bedeutende Rolle, um beispielsweise Einblick durch die Frontscheibe zu erhalten und so die Nutzung von Sonderspuren für Fahrzeuge mit hoher Besetzung (HOV-Spuren), die Einhaltung der Gurtpflicht und sogar die Handynutzung während der Fahrt zu kontrollieren. Zu diesem Zweck entstand im Projekt eine kundenspezifische Kamera, die eine Blackfly S USB3-Platinenkamera mit dem 5-MP-Polarisationsfilter Sony IMX250MZR kombinierte. Teledyne FLIR kann verschiedene Sensoren von Kameras austauschen, um individuelle Kameraoptionen zu ermöglichen, hier um deren Funktion zur Blendlichtreduzierung zu demonstrieren. Dazu wurden die Kamerabilder über die SpinView-GUI von Teledyne FLIR gestreamt, die verschiedene ‘Polarisationsalgorithmus’-Optionen wie Quad-Modus und Blendungsreduzierungsmodus bietet, um Blendlicht an einem stehenden Spielzeugauto zu reduzieren.

Gesamtsystemoptimierung

Während jeder der vier Prototypen unabhängig voneinander gut funktionierte, stellten die Projektteilnehmer bei der gleichzeitigen Ausführung aller Deep Learning-Modelle eine ziemlich mangelhafte Gesamtleistung fest. Das TensorRT SDK von Nvidia bietet einen Deep Learning-Inferenzoptimierer und eine Laufzeit der Nvidia-Hardware ähnlich dem Jetson TX2-Modul. Also optimierten die Entwickler die Deep Learning-Modelle mithilfe des TensorRT SDK, was zu einer rund 10-fachen Leistungssteigerung führte. Zudem statteten sie das TX2-Modul mit einem Kühlkörper aus, um eine Überhitzung zu vermeiden, die beim gleichzeitigen Betrieb aller Anwendungen zu befürchten war. Schließlich gelang es, mit allen vier Anwendungen gleichzeitig gute Bildraten zu erzielen: 14B/s für die Fahrzeugtyp-Identifikation, 9B/s für die Fahrzeug-Farbklassifikation, 4B/s für die automatische Kennzeichenerkennung und 8B/s für die Polarisationskamera. Die Projektteilnehmer bewerten ihre Versuche als Erfolg, denn die Prototypen ließen sich in relativ kurzer Zeit entwickeln und grundlegend optimieren. Das TX2-Modul mit vorinstalliertem Spinnaker SDK sorgt für Plug&Play-Kompatibilität mit den Blackfly S-Platinenkameras und Nvidia bietet zahlreiche Tools, um die Arbeit mit dem TX2-Modul zu erleichtern. Interessierte Unternehmen können Quartet ab sofort über das vertriebsnetz des Herstellers oder direkt über dessen Websites erwerben. Eigenen Versuchsreihen auf dem Weg zur Spezialapplikation steht somit nichts im Weg.

Das könnte Sie auch interessieren

Die aktuelle Innovationserhebung des ZEW zeigt, dass die Ausgaben in diesem Segment 2024 einen neuen Höchststand erreicht haben. Der Dienstleistungssektor verzeichnet dabei größere Wachstumsraten als die Industrie.‣ weiterlesen

Die Eclipse Foundation unterstützt weltweit Entwickler und Organisationen im Bereich Open Source Software. Ende Oktober traf sich die Community in Mainz zur Konferenz Open Community Experience (OCX). Unser Redakteur Marco Steber (IT&Production/INDUSTRIE 4.0 & IIoT-MAGAZIN) war ebenfalls vor Ort und sprach mit Mike Milinkovich, Executive Director der Eclipse Foundation, über Möglichkeiten und Herausforderungen im Bereich Open Source Software - in der Industrie und auch darüber hinaus.‣ weiterlesen

Innovationsführerschaft und Wettbewerbsfähigkeit sind entscheidende Faktoren für den Erfolg eines Unternehmens. Die Kooperation mit Startups kann etablierte Unternehmen dabei unterstützen Innovationszyklen zu beschleunigen, neue Geschäftsmodelle zu etablieren oder Prozesse im Unternehmen effizienter zu gestalten. Das Venture-Client-Modell ist eine vergleichsweise neue Form der Zusammenarbeit mit Startups, und erweist sich als effektiver und effizienter als andere Corporate Venturing Modelle.‣ weiterlesen

Eine neue Studie des Capgemini Research Institute geht der Frage nach, wie es um Nachhaltigkeit bei der Nutzung generativer KI (GenAI) steht. Der Studie ‘Developing sustainable Gen AI’ zufolge hat GenAI erhebliche und zunehmende negative Aus­wirkungen auf die Umwelt.‣ weiterlesen

Ist die Industrie 4.0 eine Revolution? Aus Sicht des Fraunhofer Instituts für System - und Innovationsforschnung lautet die Antwort: nein. Die Forschenden kommen in ihrer Veröffentlichung zu dem Schluss, dass sich eher von einer Evolution sprechen lasse.‣ weiterlesen

Laut einer repräsentativen Umfrage des Bitkom nimmt die digitale Abhängigkeit der deutschen Wirtschaft zu. Mit Blick auf die USA und China stellt dies die Unternehmen vor Herausforderungen.‣ weiterlesen