Version 1.0 der Big Data Software
Apache Flink veröffentlicht

Apache Flink kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big-Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

 (Bild: © Phil Dera)

(Bild: © Phil Dera)

Solche Datenpakete werden auf viele Rechner verteilt. Apache Flink koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird. Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht. Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von Apache-Flink-Anwendern und die Weiterentwicklung von Flink spezialisiert. Ursprünglich entstanden ist Apache Flink aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, dem Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der Technischen Universität Berlin und Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers. Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Mehr als 200 Programmierer entwickeln heute das Open Source Projekt weiter. Vor kurzem wurde die Version 1.0 der Software veröffentlicht: „Flink ist erwachsen geworden“, sagt Markl, „Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann.“

Version 1.0 der Big Data Software 
Apache Flink veröffentlicht
Bild: © Phil Dera


Das könnte Sie auch interessieren

Gerade in dem Moment, in dem das Schlagwort Big Data im Bewusstsein vieler Entscheider und in den Vorstandsetagen angekommen ist, muss heute eindeutig festgestellt werden: Big Data ist tot.‣ weiterlesen

Kaum ein Entwicklerteam schreibt heute noch jede Codezeile selbst. Die industrielle Produktion hat auch in der Software-Entwicklung längst Einzug gehalten. Doch wäre es leichtfertig, sich auf die Qualität des Codes von Dritten blindlings zu verlassen. Im Rahmen einer Sourcing-Strategie bei der Entwicklung nimmt deswegen die Qualitätssicherung eine zentrale Rolle ein. Die große Hürde dabei ist allerdings, dass ein großer Teil des Fremdcodes binär vorliegt. Mit geeigneten Werkzeugen kann aber auch dieser einer strengen Analyse unterzogen werden.‣ weiterlesen

Anzeige

Mit dem FIND-Projekt – FIND steht für Future Industrial Network Architecture – hat sich ein Konsortium aus Unternehmen und Institutionen ein ambitioniertes Ziel gesetzt. Man will das industrielle Internet weiterentwickeln. Welche Ziele die Beteiligten mit dem Projekt noch verfolgen und vor welchen Herausforderungen sie dabei stehen, erklärt Prof. Dr. Hans Schotten, Koordinator des Projekts und wissenschaftlicher Direktor am DFKI, im Interview mit dem INDUSTRIE 4.0- MAGAZIN.‣ weiterlesen

Anzeige

Produktionsplanung und Produktionsteuerung lassen sich besser synchronisieren, wenn man die digitalen Modelle von Produkt und Produktionslinien mit Echtzeitdaten aus dem Shopfloor füttert. Wie das im Flugzeugbau aussehen könnte, demonstriert der Synced Factory Twin, ein echtzeitfähiges digitale Abbild der realen Fabrik auf Basis der Shopfloor-Lösung von ASCon Systems. Entwickelt wurde er zusammen mit Airbus im Rahmen eines prostep ivip-Projekts. Bis zum flächendeckenden Einsatz in der Flugzeugmontage sind allerdings noch einige Schritte zu gehen.‣ weiterlesen

Die Verbreitung der Blockchain-Technologie in der Wirtschaft gewinnt an Fahrt. 47 Prozent der für eine neue Studie befragten Unternehmen, die Blockchain kennen, prüfen den Einsatz im eigenen Haus, 21 Prozent arbeiten an Prototypen. Einsatzszenarien sind die schnellere Zahlungs- und Kaufabwicklung sowie das Managen von Identitäten. Der Mehrheit fehlt es allerdings noch an Erfahrungswerten. Nur sieben Prozent der Fach- und Führungskräfte halten die Technologie aktuell für marktreif. Für rund jeden Zweiten befindet sie sich in einem Experimentierstadium. Das ergibt die aktuelle Yougov-Studie „Potenzialanalyse Blockchain“ im Auftrag von Sopra Steria Consulting, für die 204 Fach- und Führungskräfte aus Unternehmen verschiedener Branchen befragt wurden.‣ weiterlesen

Etwa jedem zweiten mittelständischen Industriebetrieb fehlen sowohl das Wissen als auch die technische Ausstattung, um industrielle Daten auswerten zu können. Da bereits drei Viertel der Unternehmen Maschinenwerte beim Kunden erfassen oder eigene Daten an ihre Ausrüster liefern, bleiben demnach viele dieser Informationen ungenutzt beziehungsweise werden falsch interpretiert. Das sind Ergebnisse der Studie „Industrieller Mittelstand und Finanzierung 4.0“. Der digitale Mittelstandsfinanzierer creditshelf hat dafür zusammen mit der TU Darmstadt 187 Vorstände und Geschäftsführer befragt.‣ weiterlesen