dagster
活跃·★ 16.3k·Apache-2.0·更新于 2026-10-27
★ 最受欢迎★ 必备神器★ 时下流行
Dagster 是覆盖整个开发周期的数据流水线编排器。你不用手工串联任务,而是用 `@dg.asset` 装饰器把想要的数据资产(表、数据集、机器学习模型、报表)声明为 Python 函数,Dagster 根据函数参数推出依赖关系,并在合适的时间运行,让资产保持最新。README 的示例定义了三个资产:一个 DataFrame、一个 scikit-learn 模型和一张统计表,在网页界面里以图的形式加载。
它面向从本地开发、单元测试、预发布到生产的各个阶段。README 把它分成三种角色:提升效率的平台(可复用组件、尽早发现数据质量问题)、可靠的编排引擎(多租户、多工具)和统一的控制平面(元数据、编目、血缘和诊断集中在一处),另外提供常用数据工具的集成库。支持 Python 3.9 到 3.14,可从 PyPI 安装(例如 `uv add dagster dagster-webserver dagster-dg-cli`)。
它属于数据工程工具而不是 AI 代理工具,但常被用来编排机器学习和数据工作流。本评测依据 README 和仓库数据,我们没有实际运行过它。
#数据编排#机器学习运维#数据管道#ETL#Python
01
功能特性
01软件定义资产
02声明式编程模型
03强大的本地开发体验
04健壮的操作用户界面 (Dagit)
05广泛的集成
02
为什么选择它
+以资产为中心的模型:把数据资产声明为 Python 函数,依赖关系由函数参数推出
+覆盖从本地开发、单元测试到预发布和生产的各个阶段
+内置血缘、编目和可观测性,元数据集中在一个控制平面
+带有常用数据工具的集成库,Apache-2.0 许可,可从 PyPI 安装
03
权衡点
!它是数据工程编排器,不是 AI 代理框架,需要学习资产、资源和部署等概念
!生产环境要自己运维 webserver 和守护进程(或使用厂商的托管服务,README 没有给出价格)
!README 以功能介绍和一个示例为主,真正的部署细节要看文档站
05
维护状况检查
活跃检查日期: 2026-10-23
- 最近提交
- 2026-10-22
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 11
- 最新发布
- 1.13.26 (2026-10-09)
- 未关闭 issue
- 2610
- 近期 issue 至少有一条评论的比例
- 3/13
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #2219 Support Auth & RBAC in Dagit87 条评论 · 2020-02-27
- #17005 Partitioned asset checks69 条评论 · 2023-10-04
- #21655 Sqlmesh integration51 条评论 · 2024-05-06
- #20325 Dagster uses an implausible number of postgresql connections42 条评论 · 2024-03-07
- #22553 Global asset page not showing partitioned assets as unsynced even though partitions are out of sync32 条评论 · 2024-06-14
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
04
适合谁
适合选它的情况
- 需要以“软件定义数据资产(Software-Defined Assets)”为核心的现代数据与 AI 编排系统,清晰追踪数据依赖、分区血缘与运行指标。
- 重视本地开发调试体验,希望用统一的声明式 Python 代码优雅编排 dbt、机器学习特征管道与智能体数据准备流。
建议换别的情况
- 只是需要简单的智能体多轮对话或轻量单任务循环;Dagster 是重型现代数据工程编排系统而非轻量聊天脚本。
- 需要的是通用业务级别的长事务持久化执行(如等待几周的审批回调);这种场景无资产概念的 Temporal 更加直接。
06
与同类的区别
Dagster 围绕数据资产、血缘追踪与 MLOps 数据生命周期建模;Temporal 则围绕通用代码函数的持久化执行与容灾恢复,不强制绑定数据资产范式。
07
兼容性
Snowflake
支持
已通过文档验证
Spark
支持
已通过文档验证
Kubernetes
支持
已通过文档验证
dbt
支持
已通过文档验证
Airbyte
支持
已通过文档验证
Scikit-learn
支持
已通过文档验证
08
快速开始
1
$ pip install dagster dagster-webserver
09
使用场景
↳构建可靠的数据平台
↳开发 MLOps 工作流
↳自动化数据分析和报告
10
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧