Эмбеддинги

Вызов

resp = client.embeddings.create(
    model="openai/text-embedding-3-small",
    input=["Как отозвать ключ?", "Где посмотреть расход?"],
)

for item in resp.data:
    print(item.index, len(item.embedding))

Поле input принимает и строку, и массив строк. Батч дешевле и быстрее: один запрос на 256 текстов вместо 256 запросов экономит и время на сетевых обменах, и место в лимите RPM.

Ответ

{
  "object": "list",
  "model": "openai/text-embedding-3-small",
  "data": [
    {"object": "embedding", "index": 0, "embedding": [0.0123, -0.0456, …]},
    {"object": "embedding", "index": 1, "embedding": [0.0311, -0.0092, …]}
  ],
  "usage": {"prompt_tokens": 18, "total_tokens": 18}
}

Порядок в data совпадает с порядком входа, но полагаться лучше на поле index: оно для того и есть.

Размерность

Часть моделей позволяет укоротить вектор параметром dimensions. Короткий вектор занимает меньше места в индексе и быстрее сравнивается, качество падает не пропорционально — часто это выгодный обмен.

Практика

• Режьте текст по смыслу, а не по 512 символов. Кусок, оборванный посреди предложения, даёт вектор, который не похож ни на что.
• Считайте эмбеддинги один раз и храните. Они детерминированы для одной версии модели: пересчитывать при каждом поиске — это платить за одно и то же.
• Смена модели — это переиндексация целиком. Векторы разных моделей несравнимы, даже если размерность совпала.