Seit der Einführung im Jahr 2012 hat Impala schnell große Verbreitung als führende analytische Datenbank für Hadoop gefunden, unterstützt mittlerweile zahlreiche Banchenanbieter und lässt sich mit allen führenden Business-Intelligence (BI)-Werkzeugen integrieren. Ursprünglich hat Impala mit SQL-92 Core-Funktionalität interaktive SQL-Performance auf Hadoop ermöglicht. Mittlerweile sind die analytischen SQL-Funktionen weiter ausgereift: Sie ermöglichen operative BI- und Data-Discovery-Lösungen mit extrem niedriger Latenz und gleichzeitig die Unterstützung vieler paralleler Anwender, darunter Analysten und gelegentliche Nutzer. Impala 2.0 hat für viele geschäftliche Anwender die Karten neu gemischt, da es populäre Anwendungsfälle und den vertrauten Zugriff auf Hadoop bietet.
Die Mehrheit der Cloudera-Kunden aus allen Branchen verlassen sich heute auf Impala für ihre analytischen und BI-Workloads, darunter Epsilon, Magnify Analytic Solutions, Premier, Quaero, RelayHealth und SFR. Impala hat den Fokus weiterhin auf Zuverlässigkeit in großem Maßstab gesetzt und unterstützt immer mehr Kunden, bei denen mehr als 1.000 Anwender gleichzeitig Millionen von Abfragen durchführen, die auf Clustern von zehn bis zu mehreren hundert Knoten laufen.
Impala steht seit der Veröffentlichung unter Apache-Lizenz und hat sich seitdem zu einem Open-Source-Standard im Hadoop-Ökosystem entwickelt. Anfang des Jahres wurde Impala für Beiträge der Community geöffnet und seitdem werden die Entwicklungsaktivitäten immer mehr. Google hat Integrationen zwischen Impala und BigTable entwickelt, hinzu kommen Beiträge von Arcadia Data, Intel und anderen. Durch die Übergabe des Projektes an ASF kann die heterogene Community von einer gut etablierten Basis ausgehend die Vision von Impala weiter voran treiben.
Mit der jüngst erfolgten Veröffentlichung von Kudu, der aktualisierbaren Storage-Engine für Hadoop, verzeichnet Hadoop einen weiteren, wichtigen Meilenstein für Analysen. Zum ersten Mal hat die Community sowohl mit Impala eine interaktive Query-Engine als auch mit Kudu eine aktualisierbare Storage-Engine - womit schnelle Analyse-Szenarios mit sich verändernden Daten möglich werden. Bereits kurz nach seiner Veröffentlichung stieß Kudu in der Open-Source-Community auf großes Interesse. Mit dem Aufnahmeantrag in ASF wird Kudu auch zukünftig von der großen Entwicklergemeinde profitieren. Das Zusammenspiel dieser Projekte wird für eine dramatische Ausweitung der Anwendungsfälle sorgen, weil immer mehr Unternehmen nach Wegen suchen, Echtzeit-Analyseanwendungen zu entwickeln.
“ASF ist nach unserer Auffassung der richtige Ort, um eine Open-Source-Community rund um die Entwicklung von Impala und Kudu zu fördern. Wir erwarten, dass diese Projekte unter der Schirmherrschaft der ASF von mehr produktiver Zusammenarbeit an verwandten Apache-Projekten profitieren werden. Das wird talentierte Entwickler anziehen, die die Entwicklung schnell voran bringen werden”, so Doug Cutting, Chief-Architect bei Cloudera und einer der Gründer von Hadoop. “Bei beiden Projekten ist eine stabile Grundlage gelegt, so dass jetzt die richtige Zeit ist, die Entwicklung an die ASF zu übergeben.”
Cloudera wird Impala und Kudu auch weiterhin aktiv weiter entwickeln und unterstützen, so wie es das schon mit zahlreichen erfolgreichen ASF-Projekten getan hat. Cloudera-Mitarbeiter haben eine Reihe von Open-Source-Projekten mit der ASF gegründet und veröffentlicht, darunter Apache Hadoop, Apache Flume, Apache HBase, Apache Parquet und ZooKeeper. 13 Mitarbeiter von Cloudera sind als Apache Member innerhalb der Apache Software Foundation, das ist die höchste Auszeichnung der Organisation. Dabei handelt es sich um Sean Busbey, Jarek Jarcec Cecho, Doug Cutting, Patrick Hunt, Todd Lipcon, Mark Miller, Aaron T. Myers, Sean Owen, Yonik Seeley, Michael Stack, Tom White und Xuefu Zhang.
“Impala hat große Auswirkungen auf die breite Akzeptanz von Hadoop. Der Weg in die ASF ist Ausdruck der hohen Nachfrage, dass Hadoop für alle Unternehmen erreichbar sein soll”, so Marcel Kornacker, Impala-Gründer und Lead-Architect bei Cloudera. “Wir haben eine starke Basis für Impala gelegt und freuen uns jetzt darauf, die Vision dahinter mit der Open-Source-Community weiter zu gestalten.”
“In der kurzen Zeit seit der Beta-Release von Kudu im September sind wir von den Reaktionen aus der Community, gleichermaßen von Open-Source-Entwicklern und Anwendern aus zahlreichen verschiedenen Organisationen, überwältigt worden. Dabei schwingt der Bedarf an einer aktualisierbaren Storage-Engine für das Hadoop-Ökosystem mit, insbesondere das wachsende Interesse am Aufbau von Echtzeit-Analyseanwendungen”, so Todd Lipcon, Gründer und leitender Entwickler des Kudu-Projektes bei Cloudera. “Nach der Übertragung von Kudu an den Apache-Inkubator freuen wir uns darauf, mit der Entwickler-Community des Hadoop-Ökosystems weiter daran zu arbeiten, Kudu mit dem Rest des Hadoop-Ökosystems zu integrieren und eine neue, auf offenen Standards beruhende Speicherlösung zu entwickeln.”