Die 1 Milliarde Zeilen Herausforderung – #1BRC

Die 1BRC – One Billion Row Challenge von Gunnar Morling beschäftigte im Januar 2024 unzählige Programmierer. Wie schnell kann man eine CSV-Datei mit einer Milliarde Zeilen verarbeiten? Nun, wie sich herausstellte, kann man das in nur zwei Sekunden.

Während die Gewinnerbeiträge Graal, Unsafe, SWAR, benutzerdefiniertes Hashing und mehr verwendeten, wird dieser Vortrag das Publikum stattdessen auf die ersten 80 % der Reise mitnehmen. Was kann man mit Standard-Java erreichen? Wir werden uns Schritt für Schritt von einem naiven ersten 130-Sekunden-Ansatz zu einer ca. 10-Sekunden-Lösung tunen.

Unterwegs werden wir die Auswirkungen unserer Änderungen auf die Leistung, die Gründe dafür und die Tools untersuchen, die wir für diese Entwicklung benötigen. Wir werden Java 21, Async-Profiler und einige zusätzliche Betrachtungsansätze nutzen.