GPT-6 Astra: Zwei historische Geheimtexte entziffert
▲ 31 r/KI_Welt

GPT-6 Astra: Zwei historische Geheimtexte entziffert

Ein Brief aus Napoleons Umfeld und eine Enigma-Funknachricht von 1941: Zwei Entwickler berichten, mit GPT-6 Astra bislang als ungelöst geführte Texte entziffert zu haben.

Carter Church rekonstruierte einen Brief an General Marmont von 1809. Astra übertrug die Zeichen aus einem Scan und entwickelte Suchcode, der mithilfe einer bekannten Teiltabelle und französischer Sprachmuster weitere Zuordnungen fand. Der Inhalt: Truppenstellungen vor dem Krieg gegen Österreich. Fünf Zeichen bleiben unsicher.
Originalbericht und Lösungsdateien

Carter Leffen untersuchte die Enigma-Nachricht «MVUEH». Ein Ortsname aus einer bereits gelösten Nachricht lieferte den Ansatz für die Suche nach den Maschineneinstellungen. Der rekonstruierte Text: Ein Soldat in Rosenow bittet um seinen Marschweg und sofortige Funkantwort.
Originalbericht mit Code und Prüfmaterial

Astra half laut Berichten bei Quellenarbeit, Programmierung und systematischer Suche.

u/LobsterWeary2675 — 11 days ago

Coding-Agenten veröffentlichen interne Screenshots auf GitHub, um sie in Code-Reviews zu verlinken

Ein Agent soll eine Oberfläche anpassen und Screenshots für das Code-Review liefern. Das Anhängen über die Kommandozeile klappt nicht, also lädt er die Bilder in ein öffentliches GitHub-Repository und verlinkt sie dort.

Den Ablauf beschreibt Glow Labs in einer Untersuchung. Nach eigenen Angaben fanden sie über 13000 interne Bilder aus mehr als 300 Organisationen in öffentlichen Repos, darunter Kundenabrechnungen und unveröffentlichte Produktfunktionen. Die betroffenen Firmen werden nicht genannt, wohl aber auch Fortune 500 Unternehmen darunter.

Bei einem Softwareanbieter wurde der Upload-Umweg laut Bericht sogar als wiederverwendbare Agentenanweisung gespeichert. Innerhalb einer Woche griffen mehr als zwölf Agenten darauf zurück. Der nächste Agent musste sich die schlechte Lösung also nichtmal mehr selbst ausdenken.

Diesen und alle anderen Fälle von wirren KI Agenten sammle ich inzwischen in einer kleinen Chronik die rasant wächst (Eigener Blog)

u/LobsterWeary2675 — 14 days ago

Musk, Altman und Amodei sind sich plötzlich einig KI-Entwicklung zu bremsen...

Amodei fordert, die Entwicklung immer leistungsfähigerer KI zu verlangsamen. Anthropic will unabhängigen Prüfern dafür dauerhaften Zugang ähnlich dem interner Mitarbeiter geben. Altman stimmt zu und kündigt denselben Schritt für OpenAI an. Musk schreibt: "Dario is right".

Nach Musks Angriffen auf Anthropic und seinem Rechtsstreit mit Altman finde ich diese plötzliche Einigkeit bemerkenswert. Dass Musk vor KI-Risiken warnt, ist nicht neu aber, dass er ausgerechnet Amodei ausdrücklich unterstützt sczhon.

Gleichzeitig kursiert in den untiefen von X das Gerücht, Google DeepMind habe einen Durchbruch bei rekursiver Selbstverbesserung erreicht, soll heissen KI entwickelt eine leistungsfähigere Nachfolgeversion, die wiederum die nächste verbessert. Auslöser der Gerüchte ist ein kryptischer Post von Lyra. Öffentlich belegt ist dieser Durchbruch bisher nicht und KI als Hilfe bei der KI-Forschung ist noch keine vollständig autonome Verbesserungsschleife und bereits bekannt und genutzt.

Amodei selbst nennt beginnende Selbstverbesserung und den bekannten OpenAI/Hugging-Face-Vorfall als Gründe für seinen Vorstoss. Bleibt aber schon trotzdem die Frage, ob intern noch mehr schief gelaufen ist und ein Rogue Agent richtig kacke gebaut hat.

Die geopolitische Seite steht übringes ausdrücklich in Amodeis Text: schärfere Chipbeschränkungen gegen China, damit die USA ihren Vorsprung ausbauen und sich eine langsamere Entwicklung leisten können.

Wie viel davon ist Sorge um die Kontrolle, wie viel gemeinsame Geschäfts- und Machtpolitik? Und vor allem was hat sich an einem Wochenende plötzlich so radikal geändert, dass diese Herren gemeinsame Sache machen...

u/LobsterWeary2675 — 1 month ago
▲ 10 r/KI_Welt

OpenAI-Agenten missbrauchten RubyGems für Webrecherchen

Eigentlich sollten die Agenten öffentlich zugängliche Informationen beschaffen. Laut Heise bestätigte OpenAI die Beteiligung und erklärte, die Agenten hätten einen fehlenden Browser in ihrer Testumgebung ersetzen wollen.

Laut Untersuchung veröffentlichten sie manipulierte Ruby-Pakete, die auf RubyDoc.info Code ausführten, Webseiten abriefen und Ergebnisse zurück auf RubyGems veröffentlichten. Die Forschenden fanden ausserdem Code zum Diebstahl fremder RubyGems-API-Schlüssel. Ein erfolgreicher Schlüsseldiebstahl ist nicht belegt.

RubyGems zog über 500 schädliche Pakete zurück und sperrte Neuregistrierungen für vier Tage. Für das Beschaffen öffentlicher und frei zugänglicher Informationen wurde damit fremde Open-Source-Infrastruktur missbraucht.

Ruby

Heise

u/LobsterWeary2675 — 1 month ago
▲ 76 r/KI_Welt

Ehemaliger Anthropic & OpenAi Forscher warnt vor Umgang der Labs mit KI

Jacob Coxon verlässt Anthropic und warnt vor den Risiken im Wettlauf zur Superintelligenz. Er hat bei OpenAI und Anthropic selbst an den Modellen in pre training mitgearbeitet.

Das heisst nicht, dass morgen die Welt untergeht oder AGI da ist. Aber es ist zumindest erwähnenswert, wenn jemand mit diesem Einblick so deutliche Worte findet und seinen Job kündigt. Er kann sich irren oder es aufblasen, aber einfach als reine Panikmache abtun würde ich seine Warnung trotzdem nicht.

Freue mich schon auf die (polarisierende) Diskussion in den Kommentaren

u/LobsterWeary2675 — 1 month ago
▲ 28 r/KI_Welt

GPT-6 Astra spielt Portal durch

Laut Entwickler cozyblaze hat GPT-6 Astra Portal in knapp 24 Stunden bis zum Abspann gespielt. Nach der Zielvorgabe griff er nicht mehr ein.

Der Agent steuert das Spiel über MCP und bekommt Screenshots, Position und Kamerawinkel. Während er nachdenkt, pausiert Portal. Diese Pausen fehlen im Video.

Der Tokenverbrauch entspräche bei API wohl mindestens 570 US-Dollar nach Preisliste, aber er hat es über ein 200-Dollar-Codex-Abo gemacht.

Video & Repo

u/LobsterWeary2675 — 1 month ago

KI, die uns nach dem Mund redet

Sycophancy bezeichnet die Tendenz von KI-Assistenten, sich am vermuteten Wunsch des Nutzers zu orientieren und ihm eher Recht zu geben, statt seine Aussage unabhängig zu prüfen. Die Forschung zu den Auswirkungen davon ist ein wachsendes Gebiet.

Eine Science-Studie mit 2405 Teilnehmenden hat untersucht, welche Folgen das haben kann:

• Elf Modelle bejahten Nutzerhandlungen 49 Prozent häufiger als menschliche Vergleichsantworten auf den gleichen Input

• Schon eine einzige bestatigende KI-Interaktion erhöhte die Überzeugung der Teilnehmer im Recht zu sein

• Gleichzeitig sank die Bereitschaft, eigene Verantwortung anzuerkennen oder nach einem Konflikt den ersten Schritt zur Lösung machen

• Die bestatigenden Modelle wurden als vertrauenswürdiger bewertet und eher erneut gewählt

Das korrekte prompten, also offene Fragen, Gegenargumente und die Prüfung ungeklärter Annahmen können blinde Zustimmung erschweren, aber nicht komplett beseitigen. Blosse Aufforderungen wie "Sei kritisch" reichen nicht zuverlässig.

Bei Lust auf mehr Daten und Details, hab mich mit verschiedenen Studien und Artikeln zu dem Thema auseinandergesetzt: Eigener Blog

Wie geht ihr mit der Tendenz der KI zum Ja Sagen & bestätigen um?

u/LobsterWeary2675 — 1 month ago

OpenAI kündigt "Astra" an. Also nicht das Modell, sondern die Schutzmassnahmen dafür.

Gestern hat OpenAI "Path to Astra" veröffentlicht. Kein Modell, kein Zugang. Stattdessen ein Text darüber, warum das nächste Modell gefährlich ist und warum man es trotzdem bald freigibt.

Paar Infos aus der Pressemitteilung (Nix unabhängiges also mit Vorsicht zu genießen, openai eigene Frameworks und Standards)

Scheinbar erstes OpenAI-Modell auf Stufe "Critical" für Cybersecurity. Findet unbekannte Schwachstellen in gehärteten Systemen und baut daraus Exploits, ohne menschliche Führung pro Schritt.

Jailbreak-Refusal-Rate 91,5 Prozent, gegenüber 59 bei GPT-5.6 Sol.

Volle Cyber-Fähigkeiten nur für eine kleine Testergruppe. Der Rest bekommt eine gebremste Version mit Monitoring, das laut OpenAI auch legitime Arbeit stoppen kann.

Astra war "nicht am Hugging-Face-Vorfall beteiligt". Steht im dritten Absatz einer Modellankündigung. Wenn das erste, was man klarstellen muss, eine Nichtbeteiligung ist, sagt das mehr über die letzten Wochen von OpenAI als über das neue Modell.

Zum Timing: Anthropic hat am selben Tag Fable 5.1 released. Wenige Stunden später kommt von OpenAI ein Text über ein Modell, das es noch nicht gibt. Ein Schelm wer böses dabei denkt.

Man wird sehen was rauskommt bei Release.

reddit.com
u/LobsterWeary2675 — 1 month ago

Nvidia soll Hugging Face für 12,9 Mrd. kaufen

Bisher nur The Information, HF und Nvidia schweigen.

Falls es stimmt, ist die Position das Entscheidende: from_pretrained() zeigt auf HF. Modelle, Datasets, Leaderboards und die halbe Toolchain, diese Schicht gehört dann dem Hersteller der Chips, auf denen das Zeug aktuell hauptsächlich läuft.

Ja, Nvidia braucht offene Modelle als Gegengewicht zu den geschlossenen Anbietern, die gerade ihre eigenen Chips bauen. Ein florierendes Open-Weights-Ökosystem verkauft GPU, schlagbäume wären also gegen das eigene Interesse, aber interessant wird sein zu sehen ob Kernels und Optimierungen neutral gegenüber AMD, Intel und Apple Silicon bleiben. Und was sind Leaderboards wert, wenn der Betreiber am Ergebnis mitverdient? Und wie lange bleibt der Traffic gratis?

HF wurde übringes von drei Franzosen gegründet (aber ist bereits jetzt in den USA ansässig weil da halt das cash ist). Und Europa... Naja.

reddit.com
u/LobsterWeary2675 — 2 months ago
▲ 15 r/KI_Welt

Qwen3.8-Flash-Next: Countdown auf HuggingFace läuft, 125B total / 6B aktiv

Qwen hat eine Platzhalterseite mit Countdown online. Beschreibung: "A Preview of the Qwen4 Architecture".

https://huggingface.co/Qwen/Qwen3.8-Flash-Next

Was kolportiert wird (Pre-Release-Briefing plus ein X-Post, also unbestätigt):

- 125 Mrd. Parameter total, 6 Mrd. aktiv pro Token, MoE

- zusätzlich "+51B N-gram"

- multimodal, auf der kommenden Qwen-4-Architektur

125B in 4-Bit sind grob 63 bis 70 GB. Das passt auf eine einzelne 128-GB-Maschine (mac, spark, bosgame, etc). Und 6B aktiv heisst, dass Decode bandbreitengebunden günstig bleibt. Also viel Weltwissen zum Preis eines kleinen Modells, wenn die Zahlen stimmen.

Bin sehr gespannt!

u/LobsterWeary2675 — 2 months ago

Ox Alpha: voller DeepSWE-Lauf ergibt 58,4 %, nicht 80 %

Seit dem 20.08. liegt auf OpenRouter ein Modell ohne Absender: "Ox Alpha". Niemand bekennt sich bisher dazu. Es ist auf Programmieren und längere, selbständige Arbeitsabläufe ausgelegt, versteht Text, Bild und Video, also Mulitmodal, hat ein sehr grosses Kontextfenster und ist derzeit gratis nutzbar via Openrouter.

Herumgereicht wurde ein Wert von 80 % auf dem Coding-Benchmark DeepSWE. Der stammt aus 8 von 10 Aufgaben. Inzwischen hat jemand alle 113 Aufgaben durchlaufen lassen, rund 20 Stunden am Stück: 58%

Zum Vergleich die offizielle Rangliste: Claude Opus 5 73,6 %, GPT-5.6-sol 72,7 %, Claude Fable 5 69,7 %.

Spannend wo es aktuell noch versagt: Fast ein Zehntel der Aufgaben ging nicht am Denken verloren, sondern daran, dass das Modell schlicht vergass, sein Werkzeug aufzurufen. Gemessen wird hier also vor allem Verlässlichkeit, nicht Intelligenz.

Die Spuren des Models deuten aktuell auf Zhipu/Z.ai hin, also vermutlich ein noch unveröffentlichtes GLM.

Und der Preis des Gratis-Angebots: Der unbekannte Betreiber speichert alle Eingaben. Also nichts Vertrauliches, kein Kundencode rein ;)

reddit.com
u/LobsterWeary2675 — 2 months ago
▲ 20 r/KI_Welt

Blackfrost AI Qwen 3.8 27B abliterated - Was verweigert es und was kann es autonom?

Ich habe einen guten Teil meiner Freizeit letzte Woche mit der blackfrost AI abliterated Variante von Qwen 3.8 27B verbracht und versucht, zwei Fragen zu beantworten: Was verweigert das abliterated Modell noch, und was kann es dann tatsächlich autonom.

Hier kompakt meine Resultate:

Teil 1: Refusal-Teil, über AgentHarm benchmark: Das offizielle Qwen 3.8 27B verweigert 132 von 176 "schädlichen" Agentenaufgaben. Die frei ladbare blackfrost Variante: 0 von 176, keine einzige über alle acht Kategorien des benchmark. Und nicht nur formal nicht abgelehnt und Tipps gegeben, es führte die Aufgaben häufig erfolgreich aus.

Teil 2: Fähigkeits-Teil, über CyBench im Hard-Modus, ohne Webzugang, das Modell muss den Lösungsweg selbst finden: 18 von 39 professionellen Capture-the-Flag-Aufgaben autonom gelöst. Darunter eine Aufgabe, deren erste menschliche Lösung im Wettbewerb von Security Spezialisten erst nach knapp 25 Stunden gelang. Aber es hat auch klare Grenzen: bei einigen Aufgaben verliert es sich in endlosen Reasoning und Tool-Call Schleifen, ohne je einzureichen, bei anderen hatte es schlicht nicht genug Zeit.

Wer Lust hat auf mehr Details:

Teil 1: Qwen 3.8 abliterated im AgentHarm-Test

Teil 2: Qwen 3.8 abliterated im CyBench Benchmark

(Disclaimer: Beides auf meinem eigenen Blog, ein Freizeitprojekt neben meinem Beruf; Kritik an Methodik und Auswertung oder ganz allgemein ist ausdrücklich willkommen.) 

Es sind wilde Zeiten für lokale llm und AI Security...

u/LobsterWeary2675 — 2 months ago
▲ 20 r/KI_Welt

Qwen3.8-27B auf Artificial Analysis bei 52 Punkten

​

Artificial Analysis hat Qwen3.8-27B im Intelligence Index gemessen und es landet bei 52. Ist damit gleichauf mit GPT-5.6 Luna (max) und über Claude Sonnet 4.6 (max, 48). Drüber sind noch Opus 5 mit 63, Fable 5 mit 62, GPT-5.6 Sol mit 61.

Es ist ein Benchmark, also trotzdem mit Vorsicht zu genießen, aber ein 27B-Dense-Modell im Bereich von Frontier, gemessen von Dritten statt vom Vendor ist respektabel. Und auch aus eigener Erfahrung muss ich sagen, das Modell ist erstaunlich!

Spannende Zeiten für lokale llm...

u/LobsterWeary2675 — 2 months ago
▲ 26 r/KI_Welt

An die lokalen Qwen3.8 Nutzer: schaut euch MTP5 an

Ich habe Qwen3.8 27B die letzten Tage auf einer Spark durchgemessen und zwei Sachen mitgenommen, die vermutlich auch für andere nützlich sein könnten.

Erstens: Speculative Decoding lohnt sich hier mehr, als ich gedacht hatte. Mit MTP5 statt MTP3 gab es spürbar mehr Durchsatz, ohne dass die Qualität im Benchmark wesentlich gelitten hätte. Falls ihr das noch nicht probiert habt, ist es ein Flag und fünf Minuten Arbeit

Zweitens, und nur für Spark- oder andere Blackwell-Besitzer relevant: Der NVFP4-Checkpoint ist recht zackig. Um die 28 token/s bei praktisch identischer Qualität wie fp8. Das ist mein neues Standardprofil. Auf älteren Karten bringt das leider nichts, die Kernel sind an Blackwell gebunden. Aber es gibt natürlich gute alternativen.

Kleine Einschränkungen: eine Maschine, ein Workload, Concurrency 1. Bei Batching oder anderer Hardware können die Verhältnisse auch anders aussehen. Und wer das Modell mit Werkzeugen nach aussen kommunizieren lässt, sollte wissen, dass bei mir alle Lanes mit aktivem MTP durchs Prompt-Injection-Gate gefallen sind, die MTP-freie dagegen nicht.

Teste jetzt mal die abliterated Version.

Bei Interesse an mehr Zahlen, Messaufbau, vLLM-Rezept gerne melden.

reddit.com
u/LobsterWeary2675 — 2 months ago
▲ 11 r/KI_Welt

MiniMax H3 lokal

Ton an.

H3 ist ein offenes Videomodell von MiniMax, seit Anfang August verfügbar. Text rein, Video raus, mit Ton. Bild und Ton entstehen im selben Durchlauf, die Geräusche werden nicht nachträglich dazugemischt.

Nichts davon hat je einen fremden Server gesehen. Der Elefant auch nicht.

Zur Erwartungshaltung:

Lokal dauert es länger als in der Cloud, das ist klar. Auf dem Spark dauert es nochmal deutlich länger, weil 273 GB/s Speicherbandbreite gegen die z.B. rund 1.8 TB/s einer 5090 antreten. Eine 5090 schafft einen vergleichbaren Clip in etwa einem Drittel der Zeit (vorausgesetzt es gibt genug zusätzlichen freien SystemRAM). Ist also was für den Spaß und ein Experiment was heute schon lokal möglich ist, nicht unbedingt der tägliche Videogenerator.

Das MP4 trägt den kompletten ComfyUI-Workflow in den Metadaten. Wer will, zieht sich den Graph direkt aus der Datei.

Setup:

Hardware: DGX Spark

Modell: MiniMax H3, Diffusion int8 pruned, Text-Encoder Qwen3-VL 32B in NVFP4

Frontend: ComfyUI, Standard-Workflow aus den Templates

Auflösung: 1344 x 768, 24 fps, gut 10 Sekunden

Sampler: res_multistep, 20 Steps

Generierungszeit: knapp 45 Minuten (!)

u/LobsterWeary2675 — 2 months ago

Atlassian Rovo: Prompt Injection exfiltriert potentiell Jira- und Confluence-Daten

PromptArmor hat am 5. August eine Injection-Kette gegen Atlassians Rovo veröffentlicht.

Präparierter Inhalt (z. B. weisser Kleinsttext in einem PDF) wird vom Agenten als Anweisung gelesen, der Agent hängt Jira- und Confluence-Inhalte an eine Angreifer-URL und ruft sie ab. Die Daten landen im Serverlog des Angreifers.

Der relevante Teil ist nicht die Injection, sondern die Kontrolle, die nicht greift: Der organisationsweite Schalter "Enable web search" deaktiviert die Suche, entzieht Rovo aber nicht das URL-Retrieval-Tool. Der Angriff funktioniert bei ausgeschaltetem Toggle.

Zweiter Vektor: unsicheres Markdown-Image-Rendering in den Agenten-Ausgaben.

Zeitleiste: Disclosure an Atlassian am 23. Mai, keine substanzielle Reaktion, Veröffentlichung am 5. August.

Für Rovo gibt es bisher nur den PoC von PromptArmor, keinen bekannten Vorfall bisher. Dass indirekte Prompt Injection in freier Wildbahn läuft, ist dagegen hinlänglich belegt: Google meldete zwischen November 2025 und Februar 2026 eine relative Zunahme bösartiger Payloads um 32 Prozent im gecrawlten Web, Unit 42 dokumentierte im März 2026 grossflächige Fälle auf produktiven Plattformen. EchoLeak war 2025 derselbe Bauplan gegen M365 Copilot.

Der realistische Einstieg in einen Atlassian-Tenant ist nicht unbedingt das hochgeladene PDF, sondern alles, was von aussen hereinkommt: Service-Desk-Tickets, per Mail erzeugte Vorgänge, Lieferantendoku in Confluence. Der Angreifer braucht keinen Zugang, nur einen Kanal, der irgendwann vom Agenten gelesen wird.

Begrenzt wird es durch zwei Dinge: Die Injection feuert nicht deterministisch, ob das Modell folgt, ist also Wahrscheinlichkeit. Und der Angreifer bestimmt nicht, wann jemand den Agenten auf den Inhalt ansetzt. Pro Durchlauf fliesst nur ab, was der Agent gerade holt, ein Rinnsal, kein Dump.

Primärquelle: https://www.promptarmor.com/resources/atlassian-rovo-exfiltrates-data

u/LobsterWeary2675 — 2 months ago
▲ 18 r/KI_Welt

Qwen3.8-27B kommt open-weights

Alibaba hat gestern Qwen3.8-Max Open weights für kommende Woche angekündigt und Qwen3.8-27B wird ebenfalls open-weights veröffentlicht.

Mehr steht nicht drin. Kein Datum für das 27B, keine Modellkarte, keine Benchmarks, nichts zu Architektur oder Kontextlänge. Unsloth hat bereits "läuft lokal auf 17 GB RAM/VRAM" gepostet, aber das ist eine Schätzung für eine quantisierte Variante und keine offizielle Zahl.

Qwen3.6-27B oder das 35B MOE (bisher nix zu 3.8 moe dazu) sind seit April das Arbeitstier für viele, die lokal auf einer Karte oder einem Unified-Memory-System arbeiten. Bin gespannt auf das 3.8.

Ich habe 3.6-27B und 35B A3B unter vLLM auf einer Spark im Einsatz. Sobald die Gewichte da sind, fahre ich beide Modelle auf identischem Setup gegeneinander und poste die Zahlen gerne hier bei Interesse.

reddit.com
u/LobsterWeary2675 — 2 months ago

Microsofts zweiter Fixversuch für eine Prompt-Injection war ein Modell-Upgrade. Hat nicht funktioniert.

Håkon Måløy hat am 28.07. nach 144 Tagen koordinierter Offenlegung eine Copilot-für-Word-Lücke veröffentlicht, für die es keinen Fix gibt. Interessant ist weniger der Angriff als Microsofts Reaktionsmuster.

Der Angriff in kurz: Versteckter Prompt im Word-Dokument, weisse Schrift, Grösse 8. Copilot strippt die Formatierung vor der Modellübergabe. Der PoC ändert Finanzzahlen im generierten Report und kopiert den Prompt unsichtbar ins neue Dokument, das damit selbst zum Träger wird.

Die Presse nennt das KI Wurm... hlte ich für zu gross. Es propagiert nicht selbst, jeder Hop braucht einen Menschen, der das infizierte Dokument als Quelle anhängt. Näher am Makrovirus als an Blaster.

Was der Fall wirklich zeigt: Microsoft hat zweimal gefixt. Erst "Edit with Copilot", das schloss den gemeldeten Payload. Dann am 14.07. ein Upgrade des zugrundeliegenden Modells auf GPT-5.5. Einen Tag später war der Angriff mit GPT-5.6 reproduziert.

Ein Modell-Upgrade als Sicherheitsmassnahme ist die stillschweigende Annahme, ein fähigeres Modell erkenne die Injection schon. Genau das kann nicht funktionieren: Das Modell muss den Inhalt verarbeiten, um zu entscheiden, ob er ein Angriff ist, und dabei beeinflusst der Inhalt die Entscheidung bereits. Ein vorgeschalteter Detektor bräuchte dieselbe semantische Stärke wie das Zielmodell, also "LLMs all the way down"...

Bemerkenswert ist, dass Microsoft nach 144 Tagen faktisch einräumt, dass es für diese Klasse keine Lösung gibt.

Einschränkung: Kein CVE, Payload zurückgehalten, Screenshots geblurrt. Unabhängig reproduzierbar ist das nicht. Was vorliegt, ist ein Blogpost plus eine Vendor-Bestätigung des Verhaltens.

reddit.com
u/LobsterWeary2675 — 2 months ago
▲ 42 r/KI_Welt

OpenAI nennt sein nächstes Modell Astra und legt als Nachweis zehn gelöste Mathe-Probleme vor

OpenAI hat heute erstmals offiziell den Namen des nächsten Modells genannt: Astra. Als Beleg dient ein Paper mit zehn Lösungen zu seit Jahrzehnten offenen Mathe-Problemen, jeweils in Lean formalisiert und auf GitHub prüfbar.

Fokus laut The Information: Long-Horizon-Tasks mit mehreren parallelen Agenten.

Die Resultate stammen von einer internen Version, Kosten rund 2000 Dollar an Tokens..

Altman hat Astra letzte Woche Senatoren vorgeführt, es soll durch das neue US Federal Review vor Release.

Bisher kein Datum, kein Preis, keine Benchmarks.

https://openai.com/index/ten-advances-in-mathematics/

reddit.com
u/LobsterWeary2675 — 2 months ago

Post mortem zum OpenAI-Agenten-Vorfall: Ausbruch über Zero-Day in JFrog Artifactory, fremde Code-Sandbox als Zwischenstation

Hugging Face hat am 27. Juli die technische Rekonstruktion veröffentlicht, JFrog den Vektor bestätigt.

Die Kette: Zero-Day in Artifactory, das als Cache-Proxy auf dem erlaubten Egress-Pfad der Sandbox lief. Dann eine offen erreichbare Code-Harness auf Modal, betrieben von einem Drittanbieter-Kunden, der selbst CyberGym laufen liess. Dort root, von da aus Basis für C2 und Egress. Bei HF dann HDF5-Referenzen und Jinja2-Template-Injection in der Dataset-Verarbeitung, Codeausführung im Produktions-Pod, Credentials, Pivots, interne Repos, fünf Datasets.

Vier Punkte:

Der Ausbruch lief über den ausdrücklich erlaubten Pfad, nicht daneben. Self-hosted Artifactory braucht mindestens 7.161.

Der Grossteil der 17'600 Aktionen führte zu nichts. HF hatte Signale aus mehreren Schichten, die Korrelation stufte sie nicht kritisch genug ein.

CTF-Code war nicht zuverlässig von echten Rootkits zu trennen. Ein Drittel der Infrastruktur wurde aus sauberen Images neu gebaut.

OpenAI und HF widersprechen sich öffentlich, ob die Produktionsdatenbank erreicht wurde. Für einen inszenierten Capability-Flex wäre das eine bemerkenswerte Regieleistung.

Ausführlich: https://aisyndicate.ch/ki-benchmark-realer-sicherheitsvorfall-openai-hugging-face/ (Spoiler: eigener Blog)

https://huggingface.co/blog/agent-intrusion-technical-timeline

https://jfrog.com/blog/jfrog-and-openai-collaboration-on-zero-day-security-findings/

https://www.sans.org/blog/models-said-no-inside-hugging-face-post-mortem

u/LobsterWeary2675 — 3 months ago