Hardware

Was hier dokumentiert ist

Wirken läuft auf Standard-Hardware. Die beiden Konfigurationen unten sind Referenzaufbauten für alle, die eine hardwareseitige Antwort auf die Frage „Worauf soll ich Wirken laufen lassen?" suchen. Keine davon ist eine Produktlinie. Beide sind Stücklisten, die ein kompetenter Integrator Komponente für Komponente nachstellen kann.

Fern ist die kleine dedizierte Maschine für einen einzelnen Agenten, der das LLM remote erreicht. Heim fügt genug lokale GPU hinzu, um Inferenz und Recherche-Aggregation auf derselben Maschine zu betreiben.

Fern

Fern beherbergt die Vermittlung, die Adapter, das Audit-Protokoll und die WebChat-Oberfläche und erreicht das LLM über TLS. Die lokale Maschine hält niemals Inferenz-Gewichte. Fern passt sauber zur Haltung der vertraulichen Inferenz: Die einzige ausgehende Inferenzverbindung ist ein attestierter HTTPS-Pfad, der sich auf der Netzwerkebene auf das Ziel pinnen lässt. Sie passt in eine Hand und verfügt über 10-Gigabit-Ethernet, sodass die Handshakes der Adapter mit den Kanal-Plattformen einem Turn keine messbare Latenz hinzufügen.

Heim

Heim ist die Aggregationsmaschine. Sie trägt genug lokale GPU, um Inferenz, Embedding-Generierung und die Librarian-Seite von Zirkel, dem Recherche-Aggregator von Wirken, auf derselben Maschine zu beherbergen. Die NVIDIA-GPU der Workstation-Klasse bringt 32 GB ECC-GDDR7 mit, was genug Spielraum für die Embedding- und Retrieval-Lasten ist, die Zirkel über einen ernsthaften Korpus laufen lässt. Der RAM ist verdoppelt. Gehäuse und Netzteil sind auf anhaltende Rechenlast unter Last ausgelegt, nicht auf Burst, sodass ein langer Retrieval-Durchlauf nicht drosselt oder unangenehm hochdreht. Der Speicher ist groß genug, um einen sinnvollen Korpus und mehrere Monate Audit-Protokoll daneben aufzubewahren.

Wie diese Seite zu verwenden ist

Dies sind Stücklisten. Beschaffen Sie die Teile und bauen Sie die Maschine, oder reichen Sie die Liste an einen Integrator weiter, der das tut. Die Wirken-Binärdatei kennt den Unterschied zwischen einem Referenzaufbau und einer vergleichbaren Maschine, die Sie selbst zusammengestellt haben, nicht; sie fragt das Betriebssystem nach einem Vault-Schlüssel, einem Unix Domain Socket und einer Netzwerkschnittstelle, und Fern und Heim liefern das auf die gleiche Weise wie jeder andere Linux- oder macOS-Host. Wenn Sie ein strengeres Sicherheitsziel als diese Referenzen verfolgen, sind die Komponenten, die für einen Wirken-Einsatz zählen, dieselben Komponenten, die eine gehärtete Workstation ohnehin richtig macht: vollständige Festplattenverschlüsselung, ein echter TPM, Secure Boot und ein Schlüsselbund des Betriebssystems, dem Sie den Vault-Schlüssel anvertrauen.