Version 1.0 der Big Data Software
Apache Flink veröffentlicht

Apache Flink kommt ins Spiel, wenn die Rechenpower eines einzelnen Computers nicht ausreicht, um Datenmengen zu analysieren. Das ist meist bei Big-Data-Projekten der Fall, in denen etwa Informationen über Kunden, Rohstoffquellen oder Transportwege ausgewertet werden.

 (Bild: © Phil Dera)

(Bild: © Phil Dera)

Solche Datenpakete werden auf viele Rechner verteilt. Apache Flink koordiniert diese Analyse – ein komplexes Unterfangen: Die Software muss dabei zu jeder Zeit den Überblick haben, auf welchem Rechner welcher Teil des Datensatzes zu finden ist und wie daraus das Endergebnis zusammengesetzt wird. Eine große Stärke des Programmes liegt in der Parallelisierung, also im Unterteilen der Datenmengen auf mehrere Verarbeitungsprozesse. Eine weitere Stärke ist das Pipelining, eine Technologie, die Datenstreaming ermöglicht. Auf diese Weise beschränkt sich die Analyse nicht auf abgeschlossene Datenpakete, sondern es können stets neue Daten in den Prozess eingespeist werden – eine Voraussetzung für Datenauswertung in Echtzeit. Mit Data Artisans hat sich ein eigenes Start-up aus dem Uni-Projekt ausgegründet, das sich komplett auf den Support von Apache-Flink-Anwendern und die Weiterentwicklung von Flink spezialisiert. Ursprünglich entstanden ist Apache Flink aus einem Projekt der Grundlagenforschung an der TU Berlin, das 2008 von Prof. Dr. Volker Markl ins Leben gerufen wurde, dem Leiter des Fachgebiets für Datenbanksysteme und Informationsmanagement der Technischen Universität Berlin und Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) und Leiter des Berlin-Big-Data-Centers. Markls Mitarbeiter Dr. Stephan Ewen, Dr. Fabian Hüske und Dr. Kostas Tzoumas hatten den Forschungsprototypen zu einem produktiv einsetzbaren System ausgebaut und 2014 bei der Apache Software Foundation (ASF) eingereicht. Seitdem wurde eine weltweite Community auf das Projekt aufmerksam. Mehr als 200 Programmierer entwickeln heute das Open Source Projekt weiter. Vor kurzem wurde die Version 1.0 der Software veröffentlicht: „Flink ist erwachsen geworden“, sagt Markl, „Es ist ein schönes Beispiel dafür, wie ein Grundlagen-Projekt mit Hilfe vieler Doktoranden, Mitarbeiter und Unterstützer zu einer weltweiten Erfolgsgeschichte werden kann.“

Version 1.0 der Big Data Software 
Apache Flink veröffentlicht
Bild: © Phil Dera


Das könnte Sie auch interessieren

Produktionsumgebung modernisieren

Da in modernen Fabriken immer mehr IT-Systeme für die Automatisierung verwendet werden, ist ein entsprechender Schutz der aufgestellten ITSchränke notwendig. Gefährlich werden u.a.  EMV-Einstrahlung, Staub, Schmutz und Flüssigkeiten sowie Vibrationen. Darüber hinaus haben sehr viele Menschen Zugang zu einer Fabrikhalle, von Mitarbeitern an der Produktionsstrecke bis zum Reinigungsund Servicepersonal. Die verwendeten Gehäuse für IT- und Netzwerktechnik benötigen daher abschließbare Türen und optional elektronische Schlösser zur Protokollierung der Zugänge. Auch die Seitenwände dürfen nicht einfach abnehmbar sein ‣ weiterlesen

Anzeige
Identity und Access neu aufgelegt

Ein ganzheitliches strukturiertes Identity und Access Management ist in Zeiten komplexer digitalisierter Unternehmensstrukturen ein Must-have. Unternehmen sind sich der Vorteile, die ihnen durch die erzielte Risikominimierung, Kosteneinsparung und Verbesserung der Customer Experience entstehen, durchaus bewusst. Und durch die Digitalisierung in allen Unternehmensbereichen wird auch der Ruf nach einem systemübergreifenden Identity und Access Management und einem ganzheitlichem Blick auf Berechtigungs- und Compliance-Regelungen lauter ‣ weiterlesen

Lernfabrik fast ‚out of the box‘

Laut der VDE-Tec-Studie 2017 gibt es bereits heute Engpässe beim Nachwuchs von Elektroingenieuren und IT-Experten. Für die Zukunft rechnen nur neun Prozent der Unternehmen damit, ihren Bedarf an digitalen Fachleuten decken zu können. Um dieser Entwicklung vorzubeugen gilt es, das Bewusstsein und eine gewisse Begeisterung für die Digitalisierung, I4.0 und IoT zu wecken.

‣ weiterlesen

Anzeige
Industry of Things World

Die Industry of Things World setzt ihre Erfolgsgeschichte in der nächsten Woche (18. und 19. September) fort. Als zentrale Plattform für den internationalen Wissensaustausch von Führungskräften, die eine aktive Rolle in der Industrial Internet-of-Things-Szene spielen, überzeugt sie vor allem durch ihre Themenvielfalt und ihr Format. ‣ weiterlesen

Sind komplexe Passwörter von gestern?

Ein pensionierter Beamter des amerikanischen NIST (National Institute for Standards and Technology) hat vor einigen Tagen für Überraschung gesorgt: Er entschuldigte sich für ein Dokument, das er im Jahr 2003 verfasst hat. Darin ging es um die Standards, die ein Passwort sicherer machen sollten. Zahllose Firmen und Online-Plattformen folgen seit Jahren den Empfehlungen, die das Institut ausspricht.

‣ weiterlesen

2. Production & Logistics Forum

Vom 23. bis zum 24. November findet im Estrel Congress & Messe Center in Berlin das zweite Production & Logistics Forum statt. Bei der Veranstaltung soll aufgezeigt werden, welche Chancen und Risiken die Themen ‚Vernetzung der Maschinen und Anlagen‘ bzw. die intelligente Produktion bieten.

‣ weiterlesen