FastLanes: A Next-Gen F ile Format
Computerwetenschapper Azim Afroozeh onderzo cht hoe compressie- en opslagmethoden opnieuw ontworpen konden worden , zodat data veel sneller verwerkt kan worden en minder ruimte in bes lag neemt.
Afroozehs onderzoek richtte zich op h et ontwerpen van een nieuwe generatie dataopslagformaten die gelijke tred konden houden met moderne computerhardware zoals multi-core CPU' s en GPU's. De huidige, veelgebruikte formaten, zoals Parquet, stamme n uit een vroeger tijdperk en benutten de mogelijkheden van moderne p rocessors niet meer volledig. Deze mismatch verspilt rekenkracht en v ertraagt data-analyse.
In zijn werk onderzocht Afroozeh hoe com pressie- en opslagmethoden opnieuw ontworpen kunnen worden, zodat dat a veel sneller verwerkt kan worden en minder ruimte in beslag neemt. Hij onderzocht vragen als: hoe reorganiseren we data zodat deze past bij de parallelle aard van de huidige hardware? Hoe kunnen we data co mprimeren op een manier die extreem snel te decoderen blijft? Het res ultaat, FastLanes, is een fundamenteel nieuw bestandsformaat dat is o ntworpen voor de hardware van vandaag en morgen.
Hij demonstree rde dat databestanden opnieuw ontworpen kunnen worden om zowel veel k leiner als aanzienlijk sneller te lezen door ze af te stemmen op de w erking van moderne hardware. Het belangrijkste inzicht is dat data op geslagen moet worden in een lay-out die het mogelijk maakt om duizend en waarden parallel te verwerken, zonder knelpunten.
Het onderz oek toont aan dat we door data te reorganiseren en nieuwe, lichtgewic ht compressietechnieken te gebruiken, miljarden waarden per seconde k unnen decoderen – vaak sneller dan het lezen van ongecomprimeerde d ata. Het laat ook zien dat deze methoden niet alleen werken op CPU's, maar ook op GPU's, die steeds vaker worden gebruikt in analyses en A I. Simpel gezegd: computers kunnen veel efficiënter werken wanneer d ata is opgeslagen in de "taal" die moderne processors prefereren. Fas tLanes bewijst dat een bestandsformaat dat met dit principe in gedach ten is ontworpen, de huidige systemen ruimschoots kan overtreffen.
Afroozeh combineerde theoretische analyse met uitgebreide praktis che experimenten. Eerst bestudeerde hij hoe datasets uit de praktijk zich gedragen en hoe moderne processors – zowel CPU's als GPU's – data parallel verwerken. Op basis van deze inzichten ontwierp hij ni euwe compressielay-outs en algoritmen die zijn afgestemd op moderne h ardware. Vervolgens implementeerde hij alle methoden in hoogwaardig C ++ en evalueerde ze experimenteel op diverse architecturen, waaronder Intel, AMD, Apple, Amazon Graviton en NVIDIA GPU's. Hierdoor kon hij de snelheid, de opslagbesparing en de integratie in echte query-engi nes meten. Ten slotte ontwikkelde hij een compleet prototypebestandsf ormaat en valideerde dit met behulp van echte analytische workloads. Alle implementaties werden open-source gemaakt om reproduceerbaarheid en praktische waarde te garanderen.
Meer informatie over het < a href="https://hdl.handle.net/1871.1/78e5096f-cac8-4906-9778-01c095b 4405b" data-new-window="true" target="_blank" rel="noopener noreferre r">proefschrift
DESCRIPTION: Computerwetenschapper Azim Afroozeh onderzocht ho e compressie- en opslagmethoden opnieuw ontworpen konden worden, zoda t data veel sneller verwerkt kan worden en minder ruimte in beslag ne emt. Afroozehs onderzoek richtte zich op het ontwerpen van een nieuwe generatie dataopslagformaten die gelijke tred konden houden met moderne computerhardware zoals multi-core CPU's en GPU's. De huidige, veelgebruikte formaten, zoals Parquet, stammen uit een vr oeger tijdperk en benutten de mogelijkheden van moderne processors ni et meer volledig. Deze mismatch verspilt rekenkracht en vertraagt dat a-analyse. In zijn werk onderzocht Afroozeh hoe compressie- en opslag methoden opnieuw ontworpen kunnen worden, zodat data veel sneller ver werkt kan worden en minder ruimte in beslag neemt. Hij onderzocht vra gen als: hoe reorganiseren we data zodat deze past bij de parallelle aard van de huidige hardware? Hoe kunnen we data comprimeren op een m anier die extreem snel te decoderen blijft? Het resultaat, FastLanes, is een fundamenteel nieuw bestandsformaat dat is ontworpen voor de h ardware van vandaag en morgen. Hij demonstreerde dat databestanden op nieuw ontworpen kunnen worden om zowel veel kleiner als aanzienlijk s neller te lezen door ze af te stemmen op de werking van moderne hardw are. Het belangrijkste inzicht is dat data opgeslagen moet worden in een lay-out die het mogelijk maakt om duizenden waarden parallel te v erwerken, zonder knelpunten. Het onderzoek toont aan dat we door data te reorganiseren en nieuwe, lichtgewicht compressietechnieken te geb ruiken, miljarden waarden per seconde kunnen decoderen – vaak snell er dan het lezen van ongecomprimeerde data. Het laat ook zien dat dez e methoden niet alleen werken op CPU's, maar ook op GPU's, die steeds vaker worden gebruikt in analyses en AI. Simpel gezegd: computers ku nnen veel efficiënter werken wanneer data is opgeslagen in de "taal" die moderne processors prefereren. FastLanes bewijst dat een bestand sformaat dat met dit principe in gedachten is ontworpen, de huidige s ystemen ruimschoots kan overtreffen. Afroozeh combineerde theoretisch e analyse met uitgebreide praktische experimenten. Eerst bestudeerde hij hoe datasets uit de praktijk zich gedragen en hoe moderne process ors – zowel CPU's als GPU's – data parallel verwerken. Op basis v an deze inzichten ontwierp hij nieuwe compressielay-outs en algoritme n die zijn afgestemd op moderne hardware. Vervolgens implementeerde h ij alle methoden in hoogwaardig C++ en evalueerde ze experimenteel op diverse architecturen, waaronder Intel, AMD, Apple, Amazon Graviton en NVIDIA GPU's. Hierdoor kon hij de snelheid, de opslagbesparing en de integratie in echte query-engines meten. Ten slotte ontwikkelde hi j een compleet prototypebestandsformaat en valideerde dit met behulp van echte analytische workloads. Alle implementaties werden open-sour ce gemaakt om reproduceerbaarheid en praktische waarde te garanderen. Meer informatie over het proefschrift FastLanes: A Next-Gen File Format END:VEVENT END:VCALENDAR