本栏目收录分布式计算、数据处理与查询引擎相关主题。
大数据与查询引擎#
Hive 和 Presto#
Facebook 的数据仓库存储在少量大型 Hadoop/HDFS 集群。Hive 是 Facebook 为 Hadoop 打造的数据仓库工具,底层使用 MapReduce,适合批处理。随着数据规模增长,简单查询的延迟可能无法满足交互式分析需求。
Facebook 于 2012 年开始开发 Presto,并在 2013 年宣布开源。Presto 面向交互式分布式 SQL 查询,与 Hive 等批处理工具形成不同的使用场景。