Картинки, PDF и аудио

Общая форма

Когда в сообщении есть вложение, content из строки становится массивом частей. Текст — такая же часть, как и всё остальное, и его порядок относительно вложения модель учитывает: вопрос лучше ставить после файла, а инструкцию — до.

{
  "role": "user",
  "content": [
    {"type": "text", "text": "Что не так на этой схеме?"},
    {"type": "image_url", "image_url": {"url": "https://example.ru/scheme.png"}}
  ]
}

Изображения

Принимаются ссылка и data:-URL. Ссылку скачиваем мы — значит, она должна быть доступна снаружи вашего контура; внутренний адрес вроде http://10.0.0.5/ вернёт 400. Всё, что не лежит в открытом доступе, отправляйте в base64.

import base64

with open("scheme.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = client.chat.completions.create(
    model="anthropic/claude-sonnet-5",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "Что не так на этой схеме?"},
            {"type": "image_url",
             "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)

PDF

PDF передаётся частью типа file. Разбирать его можно тремя способами, и разница между ними — деньги.

{
  "model": "anthropic/claude-sonnet-5",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "Собери таблицу платежей из договора"},
      {"type": "file", "file": {
        "filename": "contract.pdf",
        "file_data": "data:application/pdf;base64,JVBERi0…"
      }}
    ]
  }],
  "plugins": [{
    "id": "file-parser",
    "pdf": {"engine": "text"}
  }]
}

Если движок не указан, мы берём text, а при пустом текстовом слое переключаемся на ocr и сообщаем об этом в usage. Тихо потратить ваши деньги на распознавание мы не можем — но и отдать пустой ответ на скан было бы бесполезно.

Повторное использование разбора

Разобранный PDF возвращается в ответе в поле file_annotations. Сохраните его и подставляйте в следующие запросы вместо файла — повторный разбор тогда не выполняется и не оплачивается. Для многоходового диалога по одному документу это основная статья экономии.

Аудио

Звук передаётся частью input_audio в base64 — ссылок здесь нет намеренно, чтобы не тянуть чужие файлы по сети от вашего имени.

{
  "role": "user",
  "content": [
    {"type": "text", "text": "Расшифруй и выдели решения"},
    {"type": "input_audio", "input_audio": {"data": "UklGRi…", "format": "wav"}}
  ]
}

• Форматы: wav и mp3.
• Длительность — до 25 минут на файл. Длинные записи режьте сами по паузам: разрез посреди фразы модель не восстановит.
• Стоимость считается по секундам аудио, а не по токенам, и приходит в usage.audio_seconds.

Как узнать, что модель умеет

Смотрите modalities.input в каталоге или фильтр модальности в списке моделей. Вложение типа, которого модель не принимает, возвращает 400 до отправки на площадку — платить за заведомо неудачный запрос не придётся.