groundingLMM
活跃·★ 969·Apache-2.0·更新于 2026-09-05
GLaMM(接地大型多模态模型)是一个端到端训练的大型多模态模型,能够生成与对象分割掩码集成的自然语言响应,实现了视觉接地,并支持在多层次粒度上与图像进行灵活交互。它引入了新颖的接地对话生成(GCG)任务,支持指代表达式分割和区域级图像描述等多种下游应用,并以大规模的GranD数据集为基础。
groundingLMM 当前归类于 视觉/多模态,更适合按具体工作流、部署方式和团队场景来判断是否适配。从现有资料来看,它主要强调 生成与对象分割掩码无缝集成的自然语言响应。。典型使用场景包括 理解并响应用户关于特定图像区域查询的交互式视觉助手。。页面记录的许可证为 Apache-2.0。当前 GitHub Stars 为 969。相关标签包括 多模态人工智能、计算机视觉。
#多模态人工智能#计算机视觉#自然语言处理#图像分割#深度学习
01
功能特性
01生成与对象分割掩码无缝集成的自然语言响应。
02支持新颖的接地对话生成(GCG)任务,并提供全面的评估协议。
03执行详细的区域级图像描述和回答基于推理的视觉问题。
04通过从基于文本的查询创建分割掩码,擅长指代表达式分割。
05提供高质量的图像描述和会话式问答。
02
为什么选择它
+生成与对象分割掩码无缝集成的自然语言响应。
+支持新颖的接地对话生成(GCG)任务,并提供全面的评估协议。
+理解并响应用户关于特定图像区域查询的交互式视觉助手。
+覆盖 3 个兼容平台或环境。
03
权衡点
!最终选型仍建议与同类工具做并排比较,而不是单看单页信息。
04
兼容性
LLaVA
支持
已通过文档验证
GPT4ROI
支持
已通过文档验证
LISA
支持
已通过文档验证
05
快速开始
1
$ git clone https://github.com/mbzuai-oryx/groundingLMM.git
06
使用场景
↳理解并响应用户关于特定图像区域查询的交互式视觉助手。
↳用于创建密集、像素级接地数据集的自动化标注工具。
↳需要视觉理解和带有分割的详细文本描述的高级图像分析任务。
07
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧