多模态理解：用 Gemini 处理图片、视频和音频

一个模型，三种输入

Gemini 不需要单独接一个视觉模型或音频模型——它从底层设计上就是多模态的。处理文本的同一个 interactions.create 调用也能处理图片、视频和音频；变的是 input 数组里放的内容，不是要调用的模型。

图片：三种传入方式

• 通过 URL —— 适用于已经公开可访问的图片。
• 内联 base64 数据 —— 适用于小型、一次性的图片。
• Files API —— 推荐用于较大的文件，或者需要在多次请求中引用同一张图片的场景。

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="path/to/organ.jpg")

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {"type": "text", "text": "Caption this image."},
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        }
    ]
)
print(interaction.output_text)

除了图片描述和视觉问答之外，Gemini 还专门针对目标检测和图像分割做了额外训练——如果你的场景是"这个东西具体在图片的哪个位置"，而不只是"图片里有什么"，这两个能力值得直接点名使用。

视频：按文件大小选方式，而不是凭习惯

| 方式 | 最大大小 | 适合场景 | |---|---|---| | Files API | 付费层 20GB / 免费层 2GB | 大文件（100MB+）、长视频（10 分钟+）、需要复用的文件 | | Cloud Storage 注册 | 单文件 2GB，无存储总量上限 | 大型、需要长期保存、反复复用的文件 | | 内联数据 | 小于 100MB | 小型、短时长（小于 1 分钟）、一次性输入 | | YouTube URL | 不适用 | 公开的 YouTube 视频 |

对大多数实际视频场景来说，Files API 是合适的默认选项。有个细节容易踩坑：文件上传完并不会立刻可用。要轮询直到它报告 ACTIVE 状态，再在交互中引用它：

myfile = client.files.upload(file="path/to/sample.mp4")

while not myfile.state or myfile.state.name != "ACTIVE":
    print("Processing video...")
    time.sleep(5)
    myfile = client.files.get(name=myfile.name)

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {"type": "video", "uri": myfile.uri, "mime_type": myfile.mime_type},
        {"type": "text", "text": "Summarize this video. Then create a quiz with an answer key based on the information in this video."}
    ]
)

Gemini 能对视频做描述、分割、提取信息，回答关于内容的问题，还能指向具体的时间点——不是把整段视频当成一坨无差别的内容笼统概括。

音频：先上传，再提问

音频遵循和视频一样的 Files API 模式——上传，拿到 URI 和 MIME 类型，在交互里引用两者：

uploaded_file = client.files.upload(file="path/to/sample.mp3")

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {"type": "text", "text": "Describe this audio clip"},
        {
            "type": "audio",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        }
    ]
)

要转录文本加摘要的请求也是同样的方式——音频除了上传之外不需要任何特殊的预处理。

怎么选对输入方式

这三种输入方式不是可以随便换用的默认选项——它们各自是为不同大小的任务设计的。一个针对小截图的快速提问不需要走 Files API 那套上传再轮询的流程；一段要在五个不同提示词里反复引用的 10 分钟视频，也不该内联成 base64。在写集成代码之前，先把方式和文件大小、免费层与付费层的限制对上，而不是等请求失败了才发现问题。

如果想把多模态输入和函数调用或联网检索结合起来——比如让 Gemini 因为看到了图片里的内容而去查点什么——可以看函数调用与工具。