AI视频聊天这么神奇，你不想看看吗？🤔

AI视频聊天：你不可错过的黑科技！🤯

往白了说... 在一段篮球+舞蹈混合视频中， VideoChat‑Embed 精确捕捉“先打篮球、后跳舞”，并能指出“相机从近景切换到远景”。一边， VideoChat‑Text 在瑜伽视频中不仅识别出关键动作，还能回答“摔倒的可能性低，主要原因是采取了平安措施”——这简直太神奇了！🔮

过去几年， 大模型让 AI 懂“文字”、看“图片”，但你有没有想过：它能看懂视频，然后和你“聊聊刚才发生了什么”吗？🤔 最近一篇论文《VideoChat: Chat-Centric Video Understanding》提出了一个全新的思路：让 AI 以“聊天”的方式理解视频内容。也就是说你可以像和朋友一样问 AI：“他刚刚为什么停下来？”、“他把水杯放在哪儿了？”——AI 不但听得懂，还能基于视频给出合理解释。 🤓

核心组件：让AI看懂视频的“三大利器”💡

我无法认同... 论文提出了 VideoChat 一个端到端系统，核心组件包含了三个：

• 视频编码模型，将原始视频转化为时空视觉特征。论文中使用类似 TimeSformer ViViTVideoMAE 这样的预训练 Transformer 视频模型。 📚
• 视觉特征映射模块， 将视频编码器输出的特征进行映射，压缩为若干语义视觉 token，用于输入 LLM。使用 可学习的投影层 或多层感知机完成映射。 🔩
• 大语言模型，负责理解视频内容并回答用户提问。 💬

实验后来啊：VideoChat到底有多强？🚀

VideoChat-Embed 通过识别和服装风格判断视频背景是日本文化场景， 并准确数出画面中人数，还给出“搭配轻松的日本音乐”推荐。