u/LobsterWeary2675

​

Artificial Analysis hat Qwen3.8-27B im Intelligence Index gemessen und es landet bei 52. Ist damit gleichauf mit GPT-5.6 Luna (max) und über Claude Sonnet 4.6 (max, 48). Drüber sind noch Opus 5 mit 63, Fable 5 mit 62, GPT-5.6 Sol mit 61.

Es ist ein Benchmark, also trotzdem mit Vorsicht zu genießen, aber ein 27B-Dense-Modell im Bereich von Frontier, gemessen von Dritten statt vom Vendor ist respektabel. Und auch aus eigener Erfahrung muss ich sagen, das Modell ist erstaunlich!

Spannende Zeiten für lokale llm...

Ton an.

H3 ist ein offenes Videomodell von MiniMax, seit Anfang August verfügbar. Text rein, Video raus, mit Ton. Bild und Ton entstehen im selben Durchlauf, die Geräusche werden nicht nachträglich dazugemischt.

Nichts davon hat je einen fremden Server gesehen. Der Elefant auch nicht.

Zur Erwartungshaltung:

Lokal dauert es länger als in der Cloud, das ist klar. Auf dem Spark dauert es nochmal deutlich länger, weil 273 GB/s Speicherbandbreite gegen die z.B. rund 1.8 TB/s einer 5090 antreten. Eine 5090 schafft einen vergleichbaren Clip in etwa einem Drittel der Zeit (vorausgesetzt es gibt genug zusätzlichen freien SystemRAM). Ist also was für den Spaß und ein Experiment was heute schon lokal möglich ist, nicht unbedingt der tägliche Videogenerator.

Das MP4 trägt den kompletten ComfyUI-Workflow in den Metadaten. Wer will, zieht sich den Graph direkt aus der Datei.

Setup:

Hardware: DGX Spark

Modell: MiniMax H3, Diffusion int8 pruned, Text-Encoder Qwen3-VL 32B in NVFP4

Frontend: ComfyUI, Standard-Workflow aus den Templates

Auflösung: 1344 x 768, 24 fps, gut 10 Sekunden

Sampler: res_multistep, 20 Steps

Generierungszeit: knapp 45 Minuten (!)

PromptArmor hat am 5. August eine Injection-Kette gegen Atlassians Rovo veröffentlicht.

Präparierter Inhalt (z. B. weisser Kleinsttext in einem PDF) wird vom Agenten als Anweisung gelesen, der Agent hängt Jira- und Confluence-Inhalte an eine Angreifer-URL und ruft sie ab. Die Daten landen im Serverlog des Angreifers.

Der relevante Teil ist nicht die Injection, sondern die Kontrolle, die nicht greift: Der organisationsweite Schalter "Enable web search" deaktiviert die Suche, entzieht Rovo aber nicht das URL-Retrieval-Tool. Der Angriff funktioniert bei ausgeschaltetem Toggle.

Zweiter Vektor: unsicheres Markdown-Image-Rendering in den Agenten-Ausgaben.

Zeitleiste: Disclosure an Atlassian am 23. Mai, keine substanzielle Reaktion, Veröffentlichung am 5. August.

Für Rovo gibt es bisher nur den PoC von PromptArmor, keinen bekannten Vorfall bisher. Dass indirekte Prompt Injection in freier Wildbahn läuft, ist dagegen hinlänglich belegt: Google meldete zwischen November 2025 und Februar 2026 eine relative Zunahme bösartiger Payloads um 32 Prozent im gecrawlten Web, Unit 42 dokumentierte im März 2026 grossflächige Fälle auf produktiven Plattformen. EchoLeak war 2025 derselbe Bauplan gegen M365 Copilot.

Der realistische Einstieg in einen Atlassian-Tenant ist nicht unbedingt das hochgeladene PDF, sondern alles, was von aussen hereinkommt: Service-Desk-Tickets, per Mail erzeugte Vorgänge, Lieferantendoku in Confluence. Der Angreifer braucht keinen Zugang, nur einen Kanal, der irgendwann vom Agenten gelesen wird.

Begrenzt wird es durch zwei Dinge: Die Injection feuert nicht deterministisch, ob das Modell folgt, ist also Wahrscheinlichkeit. Und der Angreifer bestimmt nicht, wann jemand den Agenten auf den Inhalt ansetzt. Pro Durchlauf fliesst nur ab, was der Agent gerade holt, ein Rinnsal, kein Dump.

Primärquelle: https://www.promptarmor.com/resources/atlassian-rovo-exfiltrates-data

Hugging Face hat am 27. Juli die technische Rekonstruktion veröffentlicht, JFrog den Vektor bestätigt.

Die Kette: Zero-Day in Artifactory, das als Cache-Proxy auf dem erlaubten Egress-Pfad der Sandbox lief. Dann eine offen erreichbare Code-Harness auf Modal, betrieben von einem Drittanbieter-Kunden, der selbst CyberGym laufen liess. Dort root, von da aus Basis für C2 und Egress. Bei HF dann HDF5-Referenzen und Jinja2-Template-Injection in der Dataset-Verarbeitung, Codeausführung im Produktions-Pod, Credentials, Pivots, interne Repos, fünf Datasets.

Vier Punkte:

Der Ausbruch lief über den ausdrücklich erlaubten Pfad, nicht daneben. Self-hosted Artifactory braucht mindestens 7.161.

Der Grossteil der 17'600 Aktionen führte zu nichts. HF hatte Signale aus mehreren Schichten, die Korrelation stufte sie nicht kritisch genug ein.

CTF-Code war nicht zuverlässig von echten Rootkits zu trennen. Ein Drittel der Infrastruktur wurde aus sauberen Images neu gebaut.

OpenAI und HF widersprechen sich öffentlich, ob die Produktionsdatenbank erreicht wurde. Für einen inszenierten Capability-Flex wäre das eine bemerkenswerte Regieleistung.

Ausführlich: https://aisyndicate.ch/ki-benchmark-realer-sicherheitsvorfall-openai-hugging-face/ (Spoiler: eigener Blog)

https://huggingface.co/blog/agent-intrusion-technical-timeline

https://jfrog.com/blog/jfrog-and-openai-collaboration-on-zero-day-security-findings/

https://www.sans.org/blog/models-said-no-inside-hugging-face-post-mortem

Das WSJ hat interne OpenAI-Dokumente ausgewertet:

Sommer 2025: GPT-5 wird intern als hochriskant eingestuft, weil es Nutzern mit wenig Vorbildung bei biologischen Gefahren helfen könnte.

Nach Release: Mitarbeiter finden problematische Antworten. Hunderte Nutzer fragen scheinbar nach Anleitungen für Waffen und Gifte und erhalten teils Schritt-für-Schritt-Antworten, die laut Mitarbeitern für "Schüler mit Biologie-Grundkenntnissen" nachvollziehbar waren.

Herbst 2025: OpenAI senkt die Risikoeinstufung. Begründung laut WSJ: man wolle nicht zu oft nein sagen und seriöse Forschung nicht behindern.

Accounts werden gesperrt, Behörden nicht informiert, eine Pflicht dazu besteht in den USA nicht.

Die Evaluation von OpenAI hat funktioniert und richtig klassifiziert. Gekippt wurde sie danach, aus Business Gründen.... im selben Haus das scheinbar grade Agenten aus Sandboxes entkommt lässt um Benchmark Ergebnisse zu klauen.

https://the-decoder.de/hunderte-nutzer-fragten-chatgpt-nach-der-erstellung-biologischer-waffen-und-gifte/

https://the-decoder.de/hunderte-nutzer-fragten-chatgpt-nach-der-erstellung-biologischer-waffen-und-gifte/ (original aber paywall)

Huangs (Nvidia) erster X-Post überhaupt: "Open Weights and American AI Leadership". Ein offener Brief unterzeichnet von NVIDIA, Microsoft, Meta, IBM, Dell, Palantir, a16z, Hugging Face, Mistral, Mozilla, Linux Foundation.

Nicht dabei: Anthropic, Google, Amazon.

Edit: Openai ist inzwischen nachgerückt.

Jeder Unterzeichner verdient an der Schicht um das Modell herum und damit mehr, wenn Gewichte frei zirkulieren. Muss man im Kopf behalten, macht aber die Argumente im Dokument nicht falsch.

Weit hinten im Brief steht noch ein spannender Absatz, der Distillation als legitime Technik verteidigt. China, DeepSeek und Moonshot kommen im ganzen Dokument nicht mit einem Wort vor. Erschienen ist der Brief übringes vier Tage nach Berichten, die US Administration prüfe erneut ein Verbot chinesischer Open-Weight-Modelle.

Btw: Mistral ist der einzige Europäer auf der Liste.

https://images.nvidia.com/pdf/Open-Weights-and-American-AI-Leadership.pdf

Mai 2026: Der Army CIO verkündet unlimitierte Token auf Ask Sage und mitte Juni ist der tokenpool leider leer.

Kurze Seiteninfo: ask Sage ist ein LLM gateway für US Behörden, also kein eigenes Modell, sondern eine zugelassene Zwischenschicht über die Gemini, Llama oder ChatGPT laufen. Gekauft wird also nicht per API, sondern als Kontingent im Beschaffungsprozess.

Das Jahrespaket der army war 100 Millionen Token und wer sein Kontingent leerte, bekam halt automatisch nachgeschoben, keiner hat aufs Dashboard geschaut.

Und passend dazu ein Mitarbeiter gegenüber Wired: die Tools seien unzuverlässig und hätten gelegentlich behauptet, Arbeit erledigt zu haben, die nie stattfand. Immerhin konsistent mit der Budgetplanung der army.

https://www.golem.de/news/tokenmaxxing-us-militaer-verbrennt-ki-jahresbudget-innerhalb-eines-monats-2607-211193.html

Edit: Die 100 Millionen von Golem halten der Nachrechnung nicht stand, siehe Kommentare. Zeitachse stimmt und unlimited ist ober, aber die exakten Paketgrössen etc. sind unklar.

Moonshot hat am Sonntag die Neuabos für Kimi K3 gestoppt. Die Anfragen der ersten 48 Stunden haben die Compute-Cluster ans Limit gebracht. Bestandskunden bleiben unberührt, neue Plätze kommen «in Batches».

Zwei Kleinigkeiten:

Laut Reuters bereitet Moonshot mit Goldman Sachs und CICC ein Hongkong-IPO vor. Ein Abo-Stopp wegen zu viel Nachfrage ist vor einem Börsengang natürlich nicht verkehrt.

Und zweitens, die Abos werden aufgeteilt, künftig gibt es einen separaten Coding-Plan. Agent-Workloads mit wiederholten Model-Calls sind bei 2,8 Billionen Parametern wohl doch teuer zu servieren. Andere Anbieter werden vermutlich nachziehen.

Running Qwen3.6-35B-A3B-FP8 on a DGX Spark (128GB unified) for agent workloads. Ablated vLLM serving configs, same checkpoint, container and protocol (llama-benchy, 3 runs, c1). TG128 results:

Config	tok/s	TTFR	Tool-eval short	Hardmode
FP8 baseline	53.8	113 ms	100/100	90/100
MTP1 + FlashInfer pin	64.6	148 ms	100/100	91/100
MTP2	60.1	189 ms	100/100	–
DFlash/FlashQLA	96.7	162 ms	53/100	–
NVFP4/MTP3 *	114.0	110 ms	97/100	89/100

Before running my own ablation I dug through the Spark Dashboard and the NVIDIA forums for recipes. Tried several of the Qwen3.6 configs posted there (by no means all of them). None matched these results on my benchmarks: either they were faster but with so-so precision on tool calls, structured json, etc, or slower at similar accuracy. That's what pushed me try to ablate instead of copying a config.

• MTP1 is basically free: draft head is native in the checkpoint, +20% decode for ~35ms TTFR. MTP2 is worse, acceptance doesn't pay for the second token.
• DFlash was 80% faster and got rejected: 53/100 on tool calling, broken JSON, mangled arguments, 3 runs. Benchmark only tok/s and you'll promote a config that breaks your agents.

Key flags: --speculative-config '{"method":"mtp","num_speculative_tokens":1}' --attention-backend flashinfer --kv-cache-dtype fp8

The NVFP4 variant didn't make it despite the benchmarks results in short & hardmode - in my own tests besides these benchmarks it showed halucinations and wrong tool calling more often then the FP8 variants.

Happy to get ideas for improvements or other recipes that I can run.

Full writeup with recipe YAML (if someones interested I can also post it here), all output lengths and error bars (Spoiler: German and own blog): https://aisyndicate.ch/qwen-dgx-spark-mtp-flashinfer-optimieren/

Kimi hat K3 vorgestellt. 2,8T Parameter (MoE, 16 von 896 Experten aktiv), 1M Token Kontext, nativ multimodal. Gewichte sollen bis 27. Juli kommen. In Kimis eigenen Benchmarks knapp hinter Fable 5 und GPT 5.6 Sol, deutlich vor Opus 4.8 und GLM 5.2.

Bisher alles Eigenmessungen, teils mit unterschiedlichen Agenten-Frameworks.

Interessant der Preis: $3 Input / $15 Output, das ist exakt Sonnet-5-Niveau und fast 4x teurer als K2.6. Die Phase, in der chinesische Anbieter Frontier-Leistung zum Kampfpreis verschenken, scheint zu enden.

https://platform.kimi.ai/docs/guide/kimi-k3-quickstart

Edit: Artificial Analysis hat auch gemessen: K3 erreicht 57 im Intelligence Index, damit Platz 3 hinter Fable 5 (60) und GPT-5.6 Sol (59), knapp vor Opus 4.8 (56). Kimis Eigenbenchmarks halten also stand.

Und bei den Kosten muss ich mich wohl korrigieren: Trotz $15 Output-Preis liegt K3 bei $0.94 pro Task, weil es 21% weniger Output-Tokens braucht als K2.6.

Zum Vergleich: GPT-5.6 Sol $1.04, Opus 4.8 $1.80, GLM-5.2 $0.32. Also ja, teuer für ein offenes Modell aber günstig für die Leistungsklasse.

https://x.com/i/status/2077975838486843870

Hugging Face hat heute einen Sicherheitsvorfall offengelegt. Initial Access über ein bösartiges Dataset (Remote-Code-Loader plus Template-Injection in der Config), Eskalation auf Node-Ebene, Credential-Harvesting, Lateral Movement durch mehrere interne Cluster.

Wichtig, offentliche Modelle, Datasets, Spaces und Supply Chain sind laut HF sauber.

Gefahren wurde der Angriff von einem autonomen Agent-Framework: über 17'000 protokollierte Aktionen, Schwärme kurzlebiger Sandboxes, selbstmigrierendes C2 auf öffentlichen Diensten. Der "agentic attacker" ist damit erstmals bei einer grossen Plattform dokumentiert.

Besonders lustig, als HF die Forensik mit Frontier-Modellen über kommerzielle APIs fahren wollte haben die Guardrails blockier, weil sie echte Exploit-Payloads und C2-Artefakte nicht von Angriffsabsicht unterscheiden können. HF wich auf ein Open-Weight-Modell (GLM 5.2) auf eigener Infrastruktur aus.

https://huggingface.co/blog/security-incident-july-2026

Pangram hat über eine Million Beiträge auf fünf Plattformen gescannt (April bis Juni). Ergebnis: Jeder vierte Langform-Post ist vollständig KI-geschrieben. LinkedIn führt mit 41 Prozent und stellt fast zwei Drittel des gesamten Slops, bei nur einem Drittel der Beiträge.

Und weil das Erkennungsmodell konservativ flaggt (0,01 Prozent False Positives), ist die echte Quote vermutlich höher.

Reddit-Antworten: 98 Prozent Mensch.

https://www.pangram.com/blog/ai-in-your-feed