FastLanes: A Next-Ge n File Format
Computerwetenschapper Azim Afroozeh onderzocht hoe compressie- en opslagmethoden opnieuw ontworpen konden worden, zodat data veel sneller verwerkt kan worden en minder ruimte in beslag neemt.
Afroozehs onderzoek richtte zi ch op het ontwerpen van een nieuwe generatie dataopslagformaten die g elijke tred konden houden met moderne computerhardware zoals multi-co re CPU's en GPU's. De huidige, veelgebruikte formaten, zoals Parquet, stammen uit een vroeger tijdperk en benutten de mogelijkheden van mo derne processors niet meer volledig. Deze mismatch verspilt rekenkrac ht en vertraagt data-analyse.
In zijn werk onderzocht Afroozeh hoe compressie- en opslagmethoden opnieuw ontworpen kunnen worden, zo dat data veel sneller verwerkt kan worden en minder ruimte in beslag neemt. Hij onderzocht vragen als: hoe reorganiseren we data zodat dez e past bij de parallelle aard van de huidige hardware? Hoe kunnen we data comprimeren op een manier die extreem snel te decoderen blijft? Het resultaat, FastLanes, is een fundamenteel nieuw bestandsformaat d at is ontworpen voor de hardware van vandaag en morgen.
Hij dem onstreerde dat databestanden opnieuw ontworpen kunnen worden om zowel veel kleiner als aanzienlijk sneller te lezen door ze af te stemmen op de werking van moderne hardware. Het belangrijkste inzicht is dat data opgeslagen moet worden in een lay-out die het mogelijk maakt om duizenden waarden parallel te verwerken, zonder knelpunten.
Het onderzoek toont aan dat we door data te reorganiseren en nieuwe, lic htgewicht compressietechnieken te gebruiken, miljarden waarden per se conde kunnen decoderen – vaak sneller dan het lezen van ongecomprim eerde data. Het laat ook zien dat deze methoden niet alleen werken op CPU's, maar ook op GPU's, die steeds vaker worden gebruikt in analys es en AI. Simpel gezegd: computers kunnen veel efficiënter werken wa nneer data is opgeslagen in de "taal" die moderne processors preferer en. FastLanes bewijst dat een bestandsformaat dat met dit principe in gedachten is ontworpen, de huidige systemen ruimschoots kan overtref fen.
Afroozeh combineerde theoretische analyse met uitgebreide praktische experimenten. Eerst bestudeerde hij hoe datasets uit de pr aktijk zich gedragen en hoe moderne processors – zowel CPU's als GP U's – data parallel verwerken. Op basis van deze inzichten ontwierp hij nieuwe compressielay-outs en algoritmen die zijn afgestemd op mo derne hardware. Vervolgens implementeerde hij alle methoden in hoogwa ardig C++ en evalueerde ze experimenteel op diverse architecturen, wa aronder Intel, AMD, Apple, Amazon Graviton en NVIDIA GPU's. Hierdoor kon hij de snelheid, de opslagbesparing en de integratie in echte que ry-engines meten. Ten slotte ontwikkelde hij een compleet prototypebe standsformaat en valideerde dit met behulp van echte analytische work loads. Alle implementaties werden open-source gemaakt om reproduceerb aarheid en praktische waarde te garanderen.
Meer informatie ove r het proefschrift
DESCRIPTION: FastLanes: A Next-Gen File Format Computerwetensc happer Azim Afroozeh onderzocht hoe compressie- en opslagmethoden opn ieuw ontworpen konden worden, zodat data veel sneller verwerkt kan wo rden en minder ruimte in beslag neemt. Afroozehs onderz oek richtte zich op het ontwerpen van een nieuwe generatie dataopslag formaten die gelijke tred konden houden met moderne computerhardware zoals multi-core CPU's en GPU's. De huidige, veelgebruikte formaten, zoals Parquet, stammen uit een vroeger tijdperk en benutten de mogeli jkheden van moderne processors niet meer volledig. Deze mismatch vers pilt rekenkracht en vertraagt data-analyse.In zijn werk onderzocht Af roozeh hoe compressie- en opslagmethoden opnieuw ontworpen kunnen wor den, zodat data veel sneller verwerkt kan worden en minder ruimte in beslag neemt. Hij onderzocht vragen als: hoe reorganiseren we data zo dat deze past bij de parallelle aard van de huidige hardware? Hoe kun nen we data comprimeren op een manier die extreem snel te decoderen b lijft? Het resultaat, FastLanes, is een fundamenteel nieuw bestandsfo rmaat dat is ontworpen voor de hardware van vandaag en morgen.Hij dem onstreerde dat databestanden opnieuw ontworpen kunnen worden om zowel veel kleiner als aanzienlijk sneller te lezen door ze af te stemmen op de werking van moderne hardware. Het belangrijkste inzicht is dat data opgeslagen moet worden in een lay-out die het mogelijk maakt om duizenden waarden parallel te verwerken, zonder knelpunten.Het onderz oek toont aan dat we door data te reorganiseren en nieuwe, lichtgewic ht compressietechnieken te gebruiken, miljarden waarden per seconde k unnen decoderen – vaak sneller dan het lezen van ongecomprimeerde d ata. Het laat ook zien dat deze methoden niet alleen werken op CPU's, maar ook op GPU's, die steeds vaker worden gebruikt in analyses en A I. Simpel gezegd: computers kunnen veel efficiënter werken wanneer d ata is opgeslagen in de "taal" die moderne processors prefereren. Fas tLanes bewijst dat een bestandsformaat dat met dit principe in gedach ten is ontworpen, de huidige systemen ruimschoots kan overtreffen.Afr oozeh combineerde theoretische analyse met uitgebreide praktische exp erimenten. Eerst bestudeerde hij hoe datasets uit de praktijk zich ge dragen en hoe moderne processors – zowel CPU's als GPU's – data p arallel verwerken. Op basis van deze inzichten ontwierp hij nieuwe co mpressielay-outs en algoritmen die zijn afgestemd op moderne hardware . Vervolgens implementeerde hij alle methoden in hoogwaardig C++ en e valueerde ze experimenteel op diverse architecturen, waaronder Intel, AMD, Apple, Amazon Graviton en NVIDIA GPU's. Hierdoor kon hij de sne lheid, de opslagbesparing en de integratie in echte query-engines met en. Ten slotte ontwikkelde hij een compleet prototypebestandsformaat en valideerde dit met behulp van echte analytische workloads. Alle im plementaties werden open-source gemaakt om reproduceerbaarheid en pra ktische waarde te garanderen.Meer informatie over het proefschrif t END:VEVENT END:VCALENDAR