# Kapazitätsplanung für Vektorindizes

Bei der Vorbereitung zur Erstellung eines MyScale-Clusters ist die Auswahl der richtigen Konfiguration entscheidend, um Ihren Kapazitäts- und Leistungsanforderungen gerecht zu werden.

Die Konfiguration von MyScale-Clustern ist unkompliziert und umfasst zwei Schlüsselparameter: die Pod-Größe und die Replikazahl. Diese Parameter lassen sich leicht anpassen, um sich an sich ändernde Anforderungen anzupassen.

Cluster-Konfiguration

# Zu berücksichtigende Faktoren

Um die beste MyScale-Cluster-Konfiguration zu ermitteln, sollten Sie Folgendes berücksichtigen:

Art des Vektorindex
Anzahl der Vektoren
Dimensionen der Vektoren
Anforderung an Abfragen pro Sekunde (QPS)

Wir empfehlen die Verwendung des MSTG-Algorithmus von MyScale für die Vektorindizierung, der für außergewöhnliche Leistung und Vektordichte bekannt ist. Unsere Kapazitäts- und Leitfaden basieren auf MSTG (siehe unseren Blog-Beitrag (opens new window) für detaillierte Benchmarks).

Andere Metadaten haben nur einen geringen Einfluss auf die Vektorkapazität, aber die QPS kann beeinflusst werden, wenn Abfragen zusätzliche Metadaten enthalten. Um die QPS in solchen Szenarien zu optimieren, bietet MyScale eine effiziente Filter-Suche (opens new window) an.

# Pod-Größen

MyScale kombiniert algorithmische Innovationen wie MSTG mit Systemtechnik, um eine hohe Vektordichte und Leistung zu erreichen. Wir bieten eine einzige Pod-Art an, mit Größenoptionen wie x4, die die Kapazität und CPU-Leistung eines x1-Pods vervierfachen.

Die verfügbaren Pod-Größen sind x1, x2, x4, x8, x16 und x32. Verwenden Sie unseren Preisrechner auf der Preisseite (opens new window), um die beste Pod-Größe für Ihre Bedürfnisse zu finden.

Preisrechner

Im Folgenden finden Sie einige geschätzte Kapazitäts- und Leistungsbenchmarks für den x1-Pod.

# Kapazität

Tabelle 1: Maximale Vektor-Kapazität pro Pod nach Dimensionen

Pod-Größe	Dimensionen	Max. Kapazität
x1	512	7.500.000
	768	5.000.000
	1024	3.750.000
	1536	2.500.000

Wählen Sie eine größere Pod-Größe für eine höhere Vektor-Kapazität.

# QPS

Tabelle 2: QPS-Schätzungen für 5M Vektoren mit 768 Dimensionen nach top_k*

Pod-Größe	`top_k` 10	`top_k` 100
x1	152	117

*Basierend auf dem MSTG-Index mit alpha=3 (Standardwert). Weitere Informationen finden Sie in den vollständigen Benchmarks (opens new window).

Erhöhen Sie die QPS, indem Sie Replikas hinzufügen.

# Replikas

Replikas verbessern die Verfügbarkeit und QPS des Clusters. Die Gesamt-QPS eines Clusters entspricht in etwa der QPS eines einzelnen Pods multipliziert mit der Anzahl der Replikas. Beachten Sie jedoch, dass Replikas die Vektor-Kapazität nicht erhöhen.

# Beispiele

# Beispiel 1: ChatData-Anwendung

In unserer ChatData (opens new window)-App verwalten wir einen arXiv-Papierdatensatz mit etwa 2,25 Millionen Vektoren und 768 Dimensionen. Ein einzelner x1-Pod, der bis zu 5 Millionen Vektoren dieser Dimension unterstützt, reicht für diesen Datensatz aus.

# Beispiel 2: Bildsuche im großen Maßstab

Betrachten Sie eine Bildsuchanwendung im großen Maßstab, die 80 Millionen Vektoren mit 512 Dimensionen erfordert. Gemäß dem Abschnitt Kapazität wird ein x16-Pod benötigt. Für eine höhere Verfügbarkeit und QPS erhöhen Sie die Replikazahl auf 2 oder 3.

Warum `x16`-Pod?

Ein x1-Pod unterstützt 7,5 Millionen Vektoren mit 512 Dimensionen. Angesichts der Anforderung von 80 Millionen Vektoren ist x16 die geeignete Wahl unter unseren Pod-Größen x1, x2, x4, x8, x16 und x32.

# Visualisierte Nutzung

Die Cluster-Überwachungsseite enthält eine Diagramm, das den Speicherplatzverbrauch des geladenen Vektorindex im Verhältnis zum insgesamt verfügbaren Speicher anzeigt. Dieses Tool hilft Benutzern dabei, den Vektornutzung zu verfolgen und die Pod-Größe zu planen, bevor Kapazitätsgrenzen erreicht werden.

Prozentualer Speicherplatzverbrauch des geladenen Vektorindex

Wir verwenden den LRU-Algorithmus für das Management des Vektorindex im Arbeitsspeicher. Wenn die Vektorgrenze eines Pods überschritten wird, werden einige Indizes aus dem Speicher entladen. Das erneute Laden dieser Indizes für nachfolgende Suchvorgänge kann die QPS verringern oder die Abfrageverzögerung erhöhen. In solchen Fällen sollten Sie das oben genannte Diagramm konsultieren und Ihre Pod-Größe entsprechend erhöhen.