# ベクトルインデックスの容量計画
MyScaleクラスタを作成する準備をする際には、ベクトルの容量とパフォーマンスのニーズを考慮して、適切な構成を選択することが重要です。
MyScaleクラスタの構成は、ポッドのサイズとレプリカの数の2つの主要なパラメータを調整することで容易に行うことができます。これらのパラメータは、変化する要件に適応するために簡単に調整することができます。
# 考慮すべき要素
最適なMyScaleクラスタのセットアップを決定するためには、以下の要素を考慮してください。
- ベクトルインデックスのタイプ
- ベクトルの数
- ベクトルの次元
- 秒間クエリ数（QPS）の要件
私たちは、ベクトルインデックスにおいて優れたパフォーマンスとベクトル密度で知られるMyScaleの**MSTGアルゴリズムの使用を推奨しています。私たちの容量とパフォーマンスのガイドラインは、MSTG**に基づいています（詳細なベンチマークについては、ブログ記事 (opens new window)をご覧ください）。
他のメタデータはベクトルの容量にほとんど影響を与えませんが、クエリに追加のメタデータが含まれる場合、QPSに影響を与える可能性があります。そのようなシナリオでQPSを最適化するために、MyScaleは効率的なフィルタ検索 (opens new window)を提供しています。
# ポッドのサイズ
MyScaleは、**MSTG**などのアルゴリズムの革新とシステムエンジニアリングを組み合わせることで、高いベクトル密度とパフォーマンスを実現しています。私たちは、x1ポッドの4倍の容量とCPUパフォーマンスを提供するなど、サイズオプションが異なる単一のポッドタイプを提供しています。
利用可能なポッドサイズは、x1、x2、x4、x8、x16、x32です。価格ページ (opens new window)の価格見積もりツールを使用して、最適なポッドサイズを見つけることができます。
以下は、x1ポッドの容量とパフォーマンスの推定ベンチマークのいくつかです。
# 容量
表1: ポッドごとの次元ごとの最大ベクトル容量
| ポッドサイズ | 次元数 | 最大容量 |
|---|---|---|
| x1 | 512 | 7,500,000 |
| 768 | 5,000,000 | |
| 1024 | 3,750,000 | |
| 1536 | 2,500,000 |
ベクトル容量を増やすためには、より大きなポッドサイズを選択してください。
# QPS
表2: 768次元の5Mベクトルに対するtop_kごとのQPSの推定値*
| ポッドサイズ | top_k 10 | top_k 100 |
|---|---|---|
| x1 | 152 | 117 |
デフォルト設定のalpha=3を使用した*MSTG**インデックスに基づいています。詳細なベンチマークについては、完全なベンチマーク (opens new window)をご覧ください。
レプリカを追加することで、QPSを向上させることができます。
# レプリカ
レプリカは、クラスタの可用性とQPSを向上させます。クラスタの総QPSは、単一のポッドのQPSにレプリカの数を乗じたものにほぼ等しくなります。ただし、レプリカはベクトルの容量を増やしません。
# 例
# 例1: ChatDataアプリケーション
ChatData (opens new window)アプリでは、約225万個の768次元のarXiv論文データセットを管理しています。このデータセットでは、この次元で最大500万個のベクトルをサポートする単一のx1ポッドが十分です。
# 例2: 大規模画像検索
512次元の80万個のベクトルを必要とする大規模な画像検索アプリケーションを考えてみましょう。容量のセクションを参照して、x16ポッドが必要です。可用性とQPSを向上させるために、レプリカの数を2または3に増やしてください。
なぜ`x16`ポッドか？
x1ポッドは、512次元で750万個のベクトルをサポートします。80万個のベクトルが必要な場合、x1、x2、x4、x8、x16、x32のポッドサイズの中でx16が適切な選択肢です。
# 可視化された使用状況
クラスタのモニタリングページには、ロードされたベクトルインデックスのメモリ使用率を全体の利用可能なメモリに対して相対的に表示するチャートがあります。このツールは、ベクトルの使用状況を追跡し、容量制限に達する前にポッドサイズをアップグレードする計画を立てるのに役立ちます。
私たちは、メモリ内のベクトルインデックスの管理にLRUアルゴリズムを使用しています。ポッドのベクトル制限を超えると、一部のインデックスがメモリからアンロードされます。これらのインデックスを再度ロードして検索すると、QPSが低下したりクエリのレイテンシが増加したりする場合があります。そのような場合には、前述のチャートを参照し、ポッドサイズを適切に増やすことを検討してください。