{
"オブジェクト": "リスト",
「データ」: [
{
"オブジェクト": "埋め込み",
「インデックス」: 0、
「埋め込み」: [
-0.006929283495992422、
-0.005336422007530928、
]、
}
]、
"モデル": "text-embedding-3-small",
「使用法」: {
"prompt_tokens": 5、
"total_tokens": 5
}
}
「」
## モデルの比較
|モデル | 1 ドルあたりのページ数 | MTEBの性能評価 |最大入力 |
|-----|--------------|--------------|----------|
|テキスト埋め込み-3-small | 62,500 | 62.3% | 8191 |
|テキスト埋め込み-3-large | 9,615 | 64.6% | 8191 |
|テキスト埋め込み-ada-002 | 12,500 | 61.0% | 8191 |
## 実際の応用例
### コメントデータの処理
「」パイソン
openaiインポートからOpenAI
クライアント = OpenAI(
Base_url="https://yossapi.com/v1",
api_key=キー
)
def get_embedding(text, model="text-embedding-3-small"):
text = text.replace("\n", " ")
return client.embeddings.create(input = [テキスト], model=モデル).data[0].embedding
# データフレームを処理する
df['ada_embedding'] = df.combined.apply(lambda x: get_embedding(x, model='text-embedding-3-small'))
df.to_csv('output/embedded_1k_reviews.csv'、index=False)
# 保存された埋め込みをロードする
パンダをPDとしてインポートする
numpyをnpとしてインポート
df = pd.read_csv('output/embedded_1k_reviews.csv')
df['ada_embedding'] = df.ada_embedding.apply(eval).apply(np.array)
「」
## 技術的な詳細
### 寸法の説明
- text-embedding-3-small: デフォルトの 1536 次元
- text-embedding-3-large: デフォルトの 3072 次元
- 寸法は寸法パラメータを通じて調整できます
### 注記
- 請求は入力されたトークンの数に基づいて行われます
- ページあたり約 800 トークン
- 全モデルの最大入力は 8191 トークンです