Overview
AI 参与说明（Agent：Codex）：2026-10-10 补充 Crawlee 网页采集导航与必填元数据，保留原有栏目正文；内容日期依据文件创建记录。运行记录：模型
gpt-6.1-sol，reasoning effortultra，执行入口 Codex Desktop，提供方openai，CLI 版本0.162.0-alpha.17.2（不代表桌面 App 版本）。
本栏目收录分布式计算、数据处理与查询引擎相关主题。
网页数据采集
- Crawlee 项目研究：网页采集、浏览器自动化与可靠运行的边界：HTTP 与浏览器选型、队列与结果去重、续跑条件，以及可运行的入门示例。
大数据与查询引擎
Hive 和 Presto
Facebook 的数据仓库存储在少量大型 Hadoop/HDFS 集群。Hive 是 Facebook 为 Hadoop 打造的数据仓库工具，底层使用 MapReduce，适合批处理。随着数据规模增长，简单查询的延迟可能无法满足交互式分析需求。
Facebook 于 2012 年开始开发 Presto，并在 2013 年宣布开源。Presto 面向交互式分布式 SQL 查询，与 Hive 等批处理工具形成不同的使用场景。