DuckLake 没有自己的线程池:上面是 DuckDB 的调度层(两个线程池、每查询一条 lane、ConsumerToken 轮转),中间 4 条泳道是 DuckLake 各路径分别落在哪个线程上。节点第二、三行写的是由谁执行、并行还是串行;红框 = 串行点,一次只能一个线程通过。左边是元数据(catalog),右边是数据文件。
REGULAR 池(threads − 1 个后台 worker)跑计算 task,ASYNC 池(默认 min(4×核数, 256))只做 I/O;REGULAR worker 空闲时也会顺手做 ASYNC 队列里的活。每个查询的 Executor 在两个队列里各有一条 lane(task_scheduler_type.hpp:15、task_scheduler.cpp:156)。
worker 用 ConsumerToken 取 task,每条 lane 取满 16 个就整体换下一条(提交 0f67e73fd31)。但没有优先级、不抢占:后台 worker 默认 PROCESS_ALL,一个 task 跑完或阻塞才放手。
每个活跃连接的调用线程循环取自己查询那条 lane 的 task(client_context_execution.cpp:349 → executor.cpp:444)。N 个并发连接 ≈ 后台 worker + N 条调用线程同时在跑;新查询就算 worker 全忙,也至少以并行度 1 推进。
DuckLake 的清单固定报 MULTIPLE_FILES,扫描直接起 threads 个 task。领活在 gstate.lock 下做 row_group_index++:文件 k 的 row group 全被领走才轮到 k+1,已领走的同时解码;read-ahead 在 ASYNC 池提前开文件、读列块。
rotate=true 让 COPY 走 PARALLEL_COPY_TO_FILE:各线程并行 Prepare,在单文件锁下 Flush,多线程写同一个文件,超过 target_file_size 才换。带排序且未分区的表会退化成单线程 COPY;DELETE 的删除文件在 Finalize 里由一个线程逐个写。
COMMIT 经每事务一条的内部连接发一批 SQL,第一次不查冲突。撞主键后 sleep 退避(阻塞的是这条连接线程,不占 worker),比对 snapshot_changes 再用 snapshot_id+1 重写,最多 10 次;需要时用 TaskExecutor 并行重写删除文件——DuckLake 唯一自己投 task 的地方。
不是。扫描所在 pipeline 被调度时(Pipeline::Schedule → Reset),才在 InitializeGlobalState 里单线程查一次 catalog(ducklake_multi_file_reader.cpp:288),源码注释说是为了避免 worker 一起挤在 GetFiles() 的锁上。
v2.0 把 Parquet 列块读取包装成 ASYNC 任务(parquet_reader.cpp:2488),扫描 task 返回 BLOCKED、Deschedule 让出线程,I/O 做完再被唤醒入队。inlined 表例外:它的元数据查询在持有扫描锁时同步执行。