数据库数据分析OLAP大数据实时分析数据仓库后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid7/druid点击查看免费下载本文面向希望深入 Apache Druid 源码的开发者以 docs/content/development/overview.md 为主线系统梳理 Druid 代码库的核心组件——存储格式、Segment 创建、查询引擎、协调调度、实时/批式摄入等——并给出每一块的权威入口类与源码位置。读完本文你将掌握 Druid 的整体架构脉络能够从具体类出发快速定位代码、理解数据从摄入到查询的完整生命周期并在此基础上进行二次开发或参与社区贡献。Druid 代码库整体地图Druid 是一个大型多模块 Maven 工程核心代码按职责拆分为多个独立模块。理解模块边界是阅读源码的第一步api公共 API 与数据模型接口例如数据输入的FirehoseFactory抽象就定义在这里processing核心数据处理引擎涵盖 Segment 格式、列式存储、查询引擎QueryRunner体系等最关键的代码server服务端组件包括 Broker/Historical 查询入口QueryResource、协调器DruidCoordinator以及实时摄入管理层RealtimeManagerindexing-service索引服务Overlord/MiddleManager任务调度与实时索引indexing-hadoop基于 Hadoop 的批量摄入实现extensions-core、extensions-contrib核心与社区扩展模块存储、摄入源、聚合器等sqlSQL 查询层。原文档 docs/content/development/overview.md 将代码库划分为存储格式、Segment 创建、存储引擎、查询引擎、协调、实时摄入、Hadoop 批式摄入、内部 UI、客户端库九大板块下面逐一展开并为每块标注最值得从之入手的核心类。存储格式Segment 与 Column 抽象Druid 将数据以自有的列式格式存储称为segment。segment 的完整设计见 docs/content/design/segments.md数据按时间分片每个 segment 对应一个时间区间由granularitySpec的segmentGranularity控制文件内按列组织因此查询时只需扫描所需列。建议单个 segment 大小控制在 300MB–700MB 之间过大的 segment 可通过调整时间粒度或partitioningSpec中的targetPartitionSize经验起始值约 500 万行来优化。Druid 列式存储的三种基本列类型时间戳列、维度列与度量列segment 内的每一列都围绕Column接口构建其定义位于 processing/src/main/java/io/druid/segment/column/Column.java。从该接口可以看出列式存储的核心设计TIME_COLUMN_NAME __time时间戳列是每个 segment 的固有第一列getDictionaryEncoding()维度列以字典编码方式存储字符串值 → 整数 ID 的映射getGenericColumn()/getRunLengthColumn()/getComplexColumn()分别对应普通数值列、游程编码列与复杂类型列getBitmapIndex()每个维度值对应的位图倒排索引用于快速过滤getSpatialIndex()空间索引列支持。如 docs/content/design/segments.md 所述维度列需要三套数据结构字典字符串→整数 ID、按字典编码的值列表支撑 GroupBy/TopN、每个不同值的位图支撑 AND/OR 快速过滤。Column接口正是这三套能力对外的最小抽象。从Column的实现类位于 processing/src/main/java/io/druid/segment/column 目录下入手可以完整看到每种列类型在内存与磁盘上如何表示。Segment 的创建IncrementalIndex 与 IndexMerger原始数据进入 Druid 后要经历先增量、再合并两阶段才能固化为不可变的 segment对应的两个核心类是processing/src/main/java/io/druid/segment/incremental/IncrementalIndex.java行级增量索引。它按行累积刚摄入的数据支持实时追加与维度字典的动态构建是实时摄入路径上的内存暂存区processing/src/main/java/io/druid/segment/IndexMerger.java负责把增量数据或已有 segment合并、压缩为最终的列式 segment 文件生成字典、位图、压缩后的数值列等全部磁盘结构。阅读建议先看IncrementalIndex如何维护行数据与字典再看IndexMerger如何将多路输入合并输出这条内存 → 磁盘的转化路径就是理解 segment 格式的最佳入口。存储引擎IndexIO 与内存映射segment 落盘后查询侧通过 processing/src/main/java/io/druid/segment/IndexIO.java 将 segment 文件内存映射memory-map为可查询的QueryableIndex结构。从 IndexIO.java 的依赖可以看到其内部机制它使用java-util模块中的Smoosh/FileSmoosher/SmooshedFileMapper见 java-util/src/main/java/io/druid/java/util/common/io/smoosh把大量小文件揉合smoosh成整块文件再统一映射并借助ColumnBuilder、ColumnDescriptor及各列类型的Serde/Supplier如DictionaryEncodedColumnSupplier、LongGenericColumnSupplier、FloatGenericColumnSupplier、ComplexColumnSupplier按需懒加载列数据。这种设计使得查询无需把整个 segment 读入堆内内存而是通过ByteBuffer直接访问操作系统页面缓存这也是 Druid 依赖大内存/页缓存来提升查询性能的底层原因。查询引擎QueryResource 与 QueryRunner 管道查询是 Druid 对外最重要的能力其逻辑集中在Query*类中而执行模型的核心是QueryRunner查询的 HTTP 入口是 server/src/main/java/io/druid/server/QueryResource.javaBroker 上的/druid/v2查询端点原文档明确建议从这里开始追踪查询链路执行核心是 processing/src/main/java/io/druid/query/QueryRunner.java 与 processing/src/main/java/io/druid/query/QueryRunnerFactory.java。每种查询类型Timeseries、GroupBy、TopN、Search 等都有对应的QueryRunnerFactory与Query*Query类位于 processing/src/main/java/io/druid/query 目录。QueryRunner 采用层层嵌套的管道式设计一个 runner 往往包装另一个 runner每个 runner 只在其上叠加一层逻辑如分片裁剪、缓存读取、合并结果、limit 下推等。这与实时摄入的 Firehose 包装设计如出一辙见下文。因此阅读查询代码时建议顺着QueryResource → 查询类型对应的 QueryRunnerFactory → 各层 QueryRunner的引用关系逐层展开每一层都弄清楚它在原有结果上增加了什么。协调与调度DruidCoordinator 与 OverlordResourceDruid 的两类协调职责分别对应两个核心类历史节点Historical协调server/src/main/java/io/druid/server/coordinator/DruidCoordinator.java。Coordinator 服务负责集群元数据管理、segment 在历史节点间的负载均衡、副本与规则rule执行等是 Druid 集群大脑之一实时摄入协调indexing-service/src/main/java/io/druid/indexing/overlord/http/OverlordResource.java。Overlord 是索引服务的调度中枢通过它提交、查询、取消各类索引任务task并配合 MiddleManager 管理任务执行。从源码结构看OverlordResource属于 indexing-service 模块的 HTTP 层其背后是任务队列与任务运行器runner体系。想研究任务如何被分配与执行可以从这里向下追踪。实时摄入Firehose、RealtimeManager 与 RealtimePlumber实时摄入链路围绕三组类展开数据源抽象api/src/main/java/io/druid/data/input/FirehoseFactory.java。FirehoseFactory是数据输入的工厂接口位于 api 模块公共 API 层各类数据源Kafka、RabbitMQ、本地文件等通过实现该接口接入 Druid例如 extensions-contrib/kafka-eight-simpleConsumer 等扩展模块。与 QueryRunner 类似Firehose 也常互相包装形成责任链每个 Firehose 增加一层处理逻辑如格式解析、去重、窗口切分核心管理逻辑server/src/main/java/io/druid/segment/realtime/RealtimeManager.java。负责实时任务的生命周期管理、Firehose 的启动与数据消费调度持久化与交接server/src/main/java/io/druid/segment/realtime/plumber/RealtimePlumber.java。plumber管道工负责将内存中的实时数据定期persist持久化到磁盘上的临时 segment并在条件满足时handoff交接给集群做正式发布。结合 docs/content/ingestion 下的摄入文档如 stream-ingestion.md阅读这三组类可以完整还原实时数据 → 内存增量索引 → 磁盘 segment → 集群发布的实时摄入生命周期。Hadoop 批式摄入两个核心 Job基于 Hadoop 的批量摄入由 indexing-hadoop 模块承载其核心是两个 Jobindexing-hadoop/src/main/java/io/druid/indexer/HadoopDruidDetermineConfigurationJob.java先运行一次确定配置的 Job统计数据的分布情况决定需要创建多少个 Druid segment以及各 segment 的划分方式indexing-hadoop/src/main/java/io/druid/indexer/HadoopDruidIndexerJob.java真正的索引 Job在 Hadoop 集群上并行完成数据切分与排序最终产出 Druid segment 文件。原文档特别注明Hadoop 摄入代码未来可能被移出 Druid 核心当前版本仍位于核心仓库的 indexing-hadoop 模块中。阅读时可将两个 Job 的输入/输出数据流对照起来前者产出的是后者所需的配置信息。内部 UIDruid 目前内置两个内部 Web UICoordinator Console配合DruidCoordinator使用用于查看集群 segment 分布、规则与负载情况Overlord Console配合OverlordResource使用用于查看和操作索引任务。与 Hadoop 摄入类似原文档也提到内部 UI 代码未来很可能移出核心模块。这两个 UI 不作为核心数据处理链路的一部分更多是运维与调试辅助阅读优先级低于前述各核心组件。客户端库Druid 通过 HTTP JSON API 对外暴露查询与元数据能力因此社区可以基于任意语言实现客户端。原文档明确欢迎贡献新的客户端库在 docs/content/toc.md 的目录结构中客户端库列表位于 Development 章节之下。由于当前仓库并未包含各语言客户端的实现代码如果你的目标是开发客户端建议先从 docs/content/querying 的查询文档如 querying.md以及QueryResource的请求处理逻辑入手明确 API 的请求/响应契约。推荐的代码阅读路线综合原文档给出的各板块入口推荐两条阅读主线摄入主线数据如何进来FirehoseFactory数据源→IncrementalIndex内存增量索引→RealtimePlumber/IndexMerger持久化与合并→ segment 文件批式场景则走HadoopDruidDetermineConfigurationJob→HadoopDruidIndexerJob。查询主线数据如何出去QueryResourceHTTP 入口→ 对应查询类型的QueryRunnerFactory→ 层层嵌套的QueryRunner管道 →IndexIO内存映射出的QueryableIndex→ 各列类型的Column实现。两条主线最终都交汇于列式 segment这一核心数据结构上因此建议在深入任何一条线之前先精读 Column.java 与 docs/content/design/segments.md把列式存储模型吃透——它是理解 Druid 一切查询与摄入优化的钥匙。若涉及扩展开发还可参考 docs/content/development/modules.md 了解模块化扩展机制。赞分享数据库数据分析OLAP大数据实时分析数据仓库后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid7/druid点击查看免费下载相关推荐动手学LLM从零构建大型语言模型的终极完整指南动手学LLM从零构建大型语言模型的终极完整指南 大型语言模型LLM是近年来人工智能领域的革命性技术它通过深度神经网络和海量文本数据训练能够理解、生成和示例工程教程大模型人工智能如何永久保存微信聊天记录WeChatMsg免费工具完全指南如何永久保存微信聊天记录WeChatMsg免费工具完全指南 你是否曾担心珍贵的微信对话会随着手机更换而永远消失那些与家人的温馨对话、朋友间的美好回忆、工作中深入理解Apache Druid架构设计与核心组件深入理解Apache Druid架构设计与核心组件 本文全面解析了Apache Druid的分布式架构设计理念、核心组件功能及其协同工作机制。Druid作为高性数据库数据分析OLAP大数据实时分析数据仓库后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
