DuckLake 线程模型 · 动画

DuckDB v2.0.0 + DuckLake v2.0-cyanoptera @ c506b268 · 每一步都标了源码锚点 · 配套文档 ducklake-knowledge-base.md §5.1

计算 / 写读 / 领 morselI/O(ASYNC 池)元数据串行点 / 删除调用线程
调用线程 · Conn Aparse / bind / optimize只跑自己 lane 的 taskCOMMIT 也在这条线程 TaskScheduler(DuckDB)REGULAR 队列 · lanetttttASYNC 队列 · laneioioioioworker 用 ConsumerToken 轮转:每条 lane 取满 16 个就换 DuckLakeTransaction(每个 DuckDB 事务一个)快照 + 本地改动(新文件、删除、inline 行)MetadataManager 生成全部元数据 SQL内部元数据 Connection · 每事务一条 REGULAR 池 · threads 个 worker先取 REGULAR 队列,空了再取 ASYNCT1 · 空闲T2 · 空闲T3 · 空闲T4 · 空闲默认 PROCESS_ALL:task 跑完或阻塞才放手 ASYNC 池(只取 ASYNC 队列)min(4 × 核数, 256) 个线程A1 · 空闲A2 · 空闲A3 · 空闲 DuckLake 算子(跑在上面的线程上)ducklake_scanInlineDataCOPY → ParquetDuckLakeInsertDuckLakeDeletePipelineFinishTask并行 sink:COPY ✓ · DuckLakeDelete ✓ · DuckLakeInsert ✗ MultiFileGlobalState(每条扫描一份)gstate.lockfile_index = 0row_group_index = 0file0RG0RG1RG2file1RG0file2RG0伪文件inlined 表 · 只算 1 个 job文件 k 的 row group 全被领走,才轮到 k+1已领走的 row group 可以同时解码DeleteFilter:打开数据文件的线程同步读删除文件 COPY 全局状态(写 Parquet)Prepare:各线程并行编码Flush:单文件锁下串行追加ducklake-<uuid>.parquet超过 target_file_size(默认 512MB)→ 换新文件DELETE:Finalize 单线程逐个写删除文件 Catalog DB(DuckDB 文件 / SQLite / Postgres)ducklake_snapshotdata_file / delete_filefile_column_statsinlined_data_<表>_<版本>snapshot_changes(冲突检查用)主键 snapshot_id 仲裁并发提交;元数据只经事务性 SQL 读写 DATA_PATH(对象存储 / 文件系统)file0.parquet · 3 个 RGfile1.parquet · 1 个 RGfile2.parquet · 1 个 RG…-delete.parquet / .puffin新文件文件只追加、不改写;可见性由 catalog 里的行决定

← → 逐步 · 空格 播放/暂停 · Home / End 首尾