https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Recent content in 数据工程 on LYon's BlogHugozh-cnhttps://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/00-overview/Mon, 01 Jan 0001 00:00:00 +0000https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/00-overview/<p>本栏目收录分布式计算、数据处理与查询引擎相关主题。</p> <h2 id="大数据与查询引擎">大数据与查询引擎<a class="anchor" href="#%e5%a4%a7%e6%95%b0%e6%8d%ae%e4%b8%8e%e6%9f%a5%e8%af%a2%e5%bc%95%e6%93%8e">#</a></h2> <h3 id="hive-和-presto">Hive 和 Presto<a class="anchor" href="#hive-%e5%92%8c-presto">#</a></h3> <p>Facebook 的数据仓库存储在少量大型 Hadoop/HDFS 集群。Hive 是 Facebook 为 Hadoop 打造的数据仓库工具，底层使用 MapReduce，适合批处理。随着数据规模增长，简单查询的延迟可能无法满足交互式分析需求。</p>https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Spark/Mon, 16 Oct 2023 00:00:00 +0000https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Spark/<p>Spark 是内存密集型的分布式大数据计算引擎。Apache Spark™ is a multi-language <strong>engine</strong> for executing data engineering, data science, and machine learning on single-node machines or clusters<sup id="fnref:1"><a href="#fn:1" class="footnote-ref" role="doc-noteref">1</a></sup>.</p> <p>Spark 生态圈以 Spark Core 为核心，支持从 HDFS、Amazon S3、HBase、ElasticSearch、MongoDB、MySQL、Kafka 等多种数据源读取数据。同时，Spark 支持以 Standalone、Hadoop YARN、Apache Mesos、Kubernetes 为资源管理器调度任务，从而完成 Spark 应用程序的计算任务。</p>https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Hadoop/Mon, 01 Jan 0001 00:00:00 +0000https://yindongliang.com/docs/%E6%95%B0%E6%8D%AE%E5%B7%A5%E7%A8%8B/Hadoop/