Partycjonowanie danych w rozwiązaniach Big Data

Partycjonowanie danych to jedna technik, pozwalająca znacząco poprawić wydajność naszych zapytań. Znajduje ona zastosowanie nie tylko w relacyjnych bazach danych, ale również jest powszechnie używana w przypadku przechowywania i przetwarzania dużych zbiorów danych nazywanych powszechnie Big Data. Na sesji przyjrzymy się mechanizmom partycjonowania i dystrybucji danych dostępnych w usługach Azure Data Lake Analytics, Apache Hive czy Spark. Porównamy statyczne i dynamiczne mechanizmy partycjonowania danych, zobaczymy jak działa mechanizm partition elimiantion, a przypadku Hive i Spark przyjrzymy się mechanizmom partycjonowania dla manage and external tables. Sprawdzimy również co oferuje Azure Databricks w kwestii poprawy wydajności przetwarzania naszych danych.