claude-video-vision
★ 1.4k
vs
groundingLMM
★ 969
claude-video-vision vs groundingLMM
claude-video-vision:这是一个Claude Code插件,赋予Claude观看和理解视频的能力。它通过ffmpeg提取视频帧,并通过多种后端(Gemini、本地Whisper或OpenAI)处理音频。Claude接收图像形式的帧以及带时间戳的音频转录,充当感知层。;groundingLMM:GLaMM(接地大型多模态模型)是一个端到端训练的大型多模态模型,能够生成与对象分割掩码集成的自然语言响应,实现了视觉接地,并支持在多层次粒度上与图像进行灵活交互。它引入了新颖的接地对话生成(GCG)任务,支持指代表达式分割和区域级图像描述等多种下游应用,并以大规模的GranD数据集为基础。
01
简评
claude-video-visionVision / Multimodal · ★ 1.4k
通过提供视频路径并可选提出具体问题来分析视频文件
groundingLMMVision / Multimodal · ★ 969
理解并响应用户关于特定图像区域查询的交互式视觉助手。
02
并排对比
字段
分类
视觉/多模态
视觉/多模态
Stars
★ 1.4k
★ 969
许可证
MIT
Apache-2.0
安装方式
/plugin marketplace add https://github.com/jordanrendric/claude-video-vision && /plugin install claude-video-vision
git clone https://github.com/mbzuai-oryx/groundingLMM.git
更新时间
1周前
1个月前
开源
是
是
标签
Claude Code, Claude Code 插件, ffmpeg
多模态人工智能, 计算机视觉, 自然语言处理
03
功能特性
01多模态感知 — Claude直接查看视频帧并阅读带时间戳的音频转录
02灵活的后端 — 在云API或完全本地处理之间选择
03自适应提取 — Claude根据你的问题调整帧率、时间范围和分辨率
04自动安装 — Whisper模型在首次使用时自动下载
05交互式设置向导 — /setup-video-vision 引导你完成配置
01生成与对象分割掩码无缝集成的自然语言响应。
02支持新颖的接地对话生成(GCG)任务,并提供全面的评估协议。
03执行详细的区域级图像描述和回答基于推理的视觉问题。
04通过从基于文本的查询创建分割掩码,擅长指代表达式分割。
05提供高质量的图像描述和会话式问答。
04
使用场景
↳通过提供视频路径并可选提出具体问题来分析视频文件
↳从特定时间范围提取帧和音频以进行详细检查
↳通过自适应帧提取总结长讲座或演示
↳理解并响应用户关于特定图像区域查询的交互式视觉助手。
↳用于创建密集、像素级接地数据集的自动化标注工具。
↳需要视觉理解和带有分割的详细文本描述的高级图像分析任务。
FAQ
常见问题
claude-video-vision 和 groundingLMM 有什么区别?
claude-video-vision 和 groundingLMM 都属于 Vision / Multimodal 类别。claude-video-vision 有 1.4k Stars,groundingLMM 有 969 Stars。
claude-video-vision 和 groundingLMM 哪个更好?
最佳选择取决于你的具体需求。通过提供视频路径并可选提出具体问题来分析视频文件 时选 claude-video-vision,理解并响应用户关于特定图像区域查询的交互式视觉助手。 时选 groundingLMM。
claude-video-vision 是免费的吗?
是的,claude-video-vision 在 GitHub 开源(MIT)。
groundingLMM 是免费的吗?
是的,groundingLMM 在 GitHub 开源(Apache-2.0)。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。
→