In der 29. Folge des OFF LIMITS Tech Talk ist Daniel wieder mit von der Partie – und das nicht ohne Grund. OFF LIMITS hat einen zweiten NVIDIA GB10 angeschafft, der jetzt direkt auf Daniels Schreibtisch landet. Patrick, Christian und Daniel nehmen das zum Anlass, die eigentliche Frage zu klären, die hinter lokaler KI-Hardware steckt: Was macht man damit wirklich?
Die Highlights der Episode
Der GB10 ist kein ChatGPT-Ersatz und soll es auch nicht sein. Daniel und Christian erklären, warum das Gerät primär für Feintuning, kleine Inference-Trainings und spezialisierte Workloads gedacht ist, die nicht just-in-time laufen müssen. Christian zeigt anhand eines konkreten Beispiels, wie ein autonomes Penetration-Testing-Framework von über 1,3 Millionen Token auf wesentlich effizientere Modelle umgezogen wurde – ohne LLM-Overhead, ohne Chat-Interface. Die Entwicklerplattform auf dem Schreibtisch, was dort funktioniert, lässt sich anschließend auf größere Infrastrukturen skalieren.
Das Telekom-Rechenzentrum in München ist keine Ankündigung mehr. 10.000 NVIDIA Blackwell-GPUs der aktuellen Generation wurden in ein ehemaliges Rechenzentrum der HypoVereinsbank eingeliefert, Siemens und SAP sind bereits als erste Abnehmer dabei. Christian stellt die richtigen technischen Fragen, die bisher niemand beantwortet hat: Welche Benchmarks liegen vor, wie ist die Kundendaten-Isolation geregelt, was passiert mit GPU-Memory-Encryption, und wie souverän ist ein Stack, der vollständig auf NVIDIA basiert? Grundsätzlich begrüßt die Runde, dass es eine europäische Alternative gibt, aber mit klaren Fragezeichen.
Microsoft und die Bilanz der Copilot Plus PCs fällt ernüchternd aus. Zwei Jahre nach den Ankündigungen ist Recall gescheitert, der lokale Copilot verschwunden, und die V3- und V4-Modelle für die NPU liefern nicht das, was versprochen wurde. Ironischerweise hat ein Open-Source-Projektnamens OpenClaw in kurzer Zeit gebaut, was Microsoft mit Milliarden Budget nicht hinbekommen hat. Der Vergleich mit Apple und Google zeigt: Während Gemini unter Android und iOS überzeugt, kämpft Microsoft laut eigenem Windows-Chef mit tausend Nadelstichen.
Feedback?
Was haltet ihr von lokaler KI-Hardware im Unternehmensumfeld? Glaubt ihr, dass das Telekom-Rechenzentrum eine echte Alternative zu Azure wird? Und hat Microsoft noch eine Chance, das Thema Copilot Plus PC zu retten? Schreibt uns eure Meinung, Fragen und Themen wünsche an podcast@offlimits-it.com. Wir freuen uns auf euren Input für kommende Folgen!
Zum Podcast: