maxframe.learn.contrib.llm.multi_modal.embed#

maxframe.learn.contrib.llm.multi_modal.embed(data, model: MultiModalEmbeddingModel, input, simple_output: bool = False, params: Dict[str, Any] | None = None, **kw)[源代码]#

使用多模态 embedding 模型对多模态输入生成 embedding。

参数:

  • data (DataFrame or Series) -- 用于按行渲染 embedding 请求的输入数据。

  • model (MultiModalEmbeddingModel) -- 多模态 embedding 模型实例。

  • input (list or ContentPart) -- 多模态输入模板。值可以包含引用 data 中列的占位符。模板会逐行渲染，并作为该行的一条多模态 embedding 输入发送。

  • simple_output (bool, default False) -- 当模型 executor 支持时，是否直接返回 embedding 向量，而不是原始 provider 响应。

  • params (dict, optional) -- 额外 embedding 参数。

返回:

包含 response 和 success 列的 DataFrame。失败请求会将错误信息写入 response。

返回类型:

DataFrame

示例

>>> from maxframe.learn.contrib.llm import ContentPart, ImageContentType
>>> input = [
...     ContentPart.text("Represent this product image."),
...     ContentPart.image(
...         data=df.image_url,
...         type=ImageContentType.IMAGE_URL,
...     ),
... ]
>>> result = model.embed(df, input=input, simple_output=True)