dagster:Dagster 是 MLOps 时代专为数据平台构建的数据编排器,旨在帮助用户定义、开发和操作数据资产。它提供强大的编程模型、本地开发体验以及用于生产环境中观察和调试管道的健壮用户界面。;dagu:Dagu是一个本地优先、自托管的控制平面,专为现有运维自动化和AI代理工作流设计。它允许使用简单的声明式YAML定义复杂流程,通过单个二进制文件在任何地方执行,并将任务分发给工作节点。它还提供内置的Web UI进行调试和监控,无需外部数据库或消息队列。
构建可靠的数据平台
ETL和数据操作:将数据提取脚本、SQL查询、dbt命令和数据处理运行手册转化为可观测的管道。