Tencent schrumpft das Hy4-Modell von 1,5 TB auf 214 GB. Was die extreme Quantisierung für lokale KI-Infrastrukturen und Unternehmen in der DACH-Region bedeutet.

Die Annahme, dass Frontier-KI-Modelle zwingend eine Infrastruktur im Rechenzentrum benötigen, bekommt derzeit einen massiven Riss. Tencent hat mit der Veröffentlichung von Hy4 Preview und der dazugehörigen Komprimierungstechnologie bewiesen, dass die Grenze zwischen High-End-Enterprise-KI und lokaler Hardware durchlässiger wird, als viele Experten prognostiziert hatten.

Hy4 Preview: Ein Gigant mit Open-Weight-Strategie

Tencent hat Hy4 Preview als ein Modell mit insgesamt 770 Milliarden Parametern in den Markt gebracht. Dabei handelt es sich um eine Mixture-of-Experts-Architektur (MoE), bei der pro Token lediglich 49 Milliarden Parameter aktiv sind. Diese Struktur erlaubt es dem Modell, eine enorme Wissensbasis zu besitzen, ohne bei jeder einzelnen Anfrage die gesamte Rechenlast des Giganten bewegen zu müssen. Ein besonderes Merkmal ist das Kontextfenster, das über eine Million Token umfasst und damit extrem lange Dokumente oder komplexe Code-Repositories in einem Durchgang verarbeiten kann.

Das Modell wurde unter einer Apache 2.0-Lizenz veröffentlicht, was es für Entwickler und Unternehmen attraktiv macht, da es über Tencent Cloud TokenHub, OpenRouter und öffentliche Repositories zugänglich ist. Die Trainingsdaten wurden gezielt auf die Arbeitsweisen von Software-Ingenieuren, Finanzanalysten und Game-Developern zugeschnitten, was Hy4 zu einem spezialisierten Werkzeug für produktive High-End-Aufgaben macht.

Die Sherry-Methode und die extreme Quantisierung

Das eigentliche technische Highlight ist jedoch nicht die Größe des Modells, sondern die Art und Weise, wie es geschrumpft wurde. Das AngelSlim-Team von Tencent entwickelte eine Quantisierungsmethode namens Sherry. Während die ursprünglichen BF16-Gewichte des Modells etwa 1,5 Terabyte an Speicherplatz beanspruchen, reduziert die neue GGUF-Version diesen Bedarf auf etwa 214 Gigabyte. Das entspricht einer Reduktion von 86 Prozent.

Interessant ist hierbei der Verzicht auf eine uniforme Komprimierung. Tencent wendet keine pauschale 1,25-Bit-Quantisierung an, sondern differenziert nach der Sensibilität der einzelnen Layer. Nicht-kritische Schichten werden extrem stark auf etwa 1,31-Bit komprimiert, während sensible Layer eine Präzision von 2-Bit oder mehr behalten. Im Durchschnitt ergibt dies etwa 2,38 Bits pro Gewicht (bpw). Der Performance-Verlust ist minimal: In Benchmarks wie dem SWE-bench Pro sank die Leistung lediglich um 0,7 Prozent, in anderen Tests lagen die Einbußen zwischen 0,2 und 1,6 Punkten im Vergleich zum Original.

Hardware-Realität: Gaming-Laptops als KI-Knoten

Die Schlagzeilen suggerieren oft, dass ein RTX 4090-Laptop nun plötzlich eine Frontier-KI im Alleingang betreibt. Die Realität ist nuancierter. Zwar ist die Datei mit 214 GB nun handhabbar, doch für eine vollständige Residenz im Grafikspeicher (VRAM) wären theoretisch immer noch 214 GiB VRAM nötig, was weit über die Kapazität einer einzelnen Consumer-Karte hinausgeht. Hier kommt jedoch die heterogene Inferenz ins Spiel.

Durch den Einsatz von patched local inference setups und Tools wie prima.cpp kann die Last auf mehrere Geräte verteilt werden. In einem Testsetup, bestehend aus einem RTX 4090-Laptop und einem Server mit vier A4000-GPUs (insgesamt 80 GB VRAM und 64 GB RAM), wurde eine Geschwindigkeit von 1,02 Token pro Sekunde erreicht. Das ist etwa sechsmal schneller, als wenn das Modell allein auf dem Laptop über Offloading betrieben würde. Damit wird die Vision einer verteilten KI-Infrastruktur greifbar, bei der unterschiedliche Hardware-Konfigurationen gemeinsam an einem massiven Modell arbeiten.

Einsatzgebiete zwischen Code und Quantenphysik

Tencent positioniert Hy4 Preview nicht als allgemeinen Chatbot, sondern als Werkzeug für komplexe, langwierige Prozesse. In der Softwareentwicklung soll das Modell in der Lage sein, über ausgedehnte Sitzungen hinweg zu planen, zu debuggen und zu verifizieren. Es kann verstreute Dateien in strukturierte Dokumente, Tabellen oder Präsentationen verwandeln, inklusive komplexer Finanzmodelle und mathematischer Gleichungen.

Auch in der wissenschaftlichen Forschung zeigt das Modell Potenzial. Es wurde in Bereichen wie der kondensierten Materie und der reinen Mathematik getestet. Ein bemerkenswertes Detail ist die Fähigkeit des Modells, mehrere Codex-Sitzungen parallel zu steuern und die Forschungsrichtung dynamisch anzupassen, sobald neue Ergebnisse vorliegen. Interne Blindtests mit 163 Experten zeigten, dass Hy4 bei Engineering-Aufgaben leicht über Konkurrenten wie GLM 5.3 und Kimi K3 liegt.

Hy4 Preview ist eine frühe Version, die dazu neigt, bei komplexen Aufgaben länger zu reasonen als nötig und ihre eigene Arbeit übermäßig zu verifizieren.

Die Kostenstruktur der API-Nutzung

Für Unternehmen, die nicht auf lokale Hardware setzen wollen, bietet Tencent eine skalierbare API-Struktur an. Die Preisgestaltung ist dabei stark nach der Art des Tokens differenziert, um effiziente Caching-Strategien zu belohnen:

• Cached Input: 0,042 USD pro Million Token
• Standard Input: 0,834 USD pro Million Token
• Output: 2,501 USD pro Million Token

Bedeutung für den deutschen Mittelstand und die DACH-Region

Für Unternehmen in Deutschland, Österreich und der Schweiz ist die Entwicklung von Hy4 und der Sherry-Quantisierung von strategischer Relevanz. Der deutsche Mittelstand ist traditionell zurückhaltend bei der Nutzung von Public-Cloud-KI, primär aus Sorge um den Datenschutz und die Souveränität über geistiges Eigentum. Die Möglichkeit, ein Modell mit 770 Milliarden Parametern auf einer modifizierten, lokalen Hardware-Infrastruktur zu betreiben, könnte diese Hürde massiv senken.

Im Kontext des EU AI Act bietet die lokale Ausführung von Open-Weight-Modellen einen regulatorischen Vorteil. Unternehmen können die volle Kontrolle über den Datenfluss behalten, ohne dass sensible Firmendaten die eigenen Server verlassen. Dies ist besonders in Branchen wie dem Maschinenbau oder der Automobilindustrie (Industrie 4.0) kritisch, wo proprietäre Designs und Prozessdaten das höchste Gut darstellen.

Die Fähigkeit von Hy4, komplexe Software-Engineering-Aufgaben und wissenschaftliche Analysen zu übernehmen, trifft genau den Nerv der digitalen Transformation in der DACH-Region. Wenn ein Unternehmen in der Lage ist, ein solches Modell lokal zu hosten, wird KI vom reinen Schreibassistenten zum echten Engineering-Partner, der lokale Code-Bases versteht und optimiert, ohne die Cloud-Abhängigkeit zu erhöhen. Die Herausforderung bleibt die Hardware-Beschaffung und die Implementierung der notwendigen Patches, doch der Weg zu einer souveränen, lokalen Frontier-KI ist durch Tencents Ansatz ein großes Stück weit geebnet.

Häufige Fragen

---

Quellen: Startupfortune, Lookonchain, Testingcatalog ·