Forschungs-Update — Juli 2026

Repository-Vereinheitlichung: MNIST + CIFAR aus einer Quelle

Das Repository wurde grundlegend konsolidiert. Statt getrennter Quellen für MNIST und CIFAR-10 gibt es jetzt eine gemeinsame Codebasis unter otto-score-ifc/:

otto-score-ifc/          ← Neue Wurzel der öffentlichen Distribution
├── mnist/               ← Enthält die echten Quelldateien
│   ├── mlp-bin32-otto-trn.c      ← Otto Score (MNIST + CIFAR in einer Datei)
│   ├── mlp-bin32-hebbian-trn.c   ← Hebbian (MNIST + CIFAR in einer Datei)
│   └── ki-common.h               ← Zentraler Header (modernisierte API)
├── cifar/               ← Symlinks auf ../mnist/ — kein eigener Code
├── reference/           ← Float32-AdamW-Vergleichsbaseline
├── lib/                 ← Gemeinsame Header (maj3.h, ki-encoding.h, …)
└── models/              ← Trainierte Modelle (cached)

Jeder Trainer ist gleichzeitig das Inferenzwerkzeug — über das --model-Flag wird aus dem Trainer ein reiner Klassifikator. Es gibt keine getrennten IFC-Quelldateien mehr. Das garantiert 0% Code-Drift zwischen Training und Inference.

Alle drei Ansätze (Otto Score, Hebbian, AdamW) sind jetzt auf beiden Datensätzen mit identischer Architektur vergleichbar:

Ansatz	MNIST (H=512, 10 Ep.)	CIFAR (H=256, 5 Ep.)
Otto Score	97.0%	55.0%
AdamW (float32)	92.6%	41.2%
Bin32 Hebbian	84.4%	32.4%

Der Hebbian wurde neu implementiert: vom naiven Per-Sample-Flip auf einen counter-basierten Update-Mechanismus umgestellt (wie die Referenz, aber mit Thermometer-Encoding). Die Ergebnisse: MNIST von 9.9% (random) auf 84.4%, CIFAR von 10.0% auf 32.4% (mit 11 Members via --encoding latest).

---

Encoding ist Pflicht — für kontinuierliche Daten (CIFAR)

Eine der wichtigsten Erkenntnisse: Ohne Thermometer-Encoding funktioniert bin32 auf Fotodaten nicht. Wichtig: MNIST ist die Ausnahme — Schwarz/Weiss-Ziffern sind binär von Natur aus (Tinte/keine Tinte), rohes Packen funktioniert direkt.

Daten	Ansatz	Encoding	Ergebnis
MNIST	Otto Score	Raw (beliebig)	97.0% ✅
CIFAR-10 (fotografisch)	Hebbian	Raw (R|G|B)	10.0% ❌ (Zufall)
CIFAR-10	Hebbian	exp8 Thermometer	23.1%
CIFAR-10	Hebbian	--encoding latest (11 Members)	32.4%
CIFAR-10	Otto Score	--encoding latest (11 Members)	55.0%

Das Thermometer-Encoding (exp8, raw8, sig8, …) bildet Helligkeit auf Bitmuster ab, bei denen popcount(encode(pv)) ∝ pv gilt. Ähnliche Pixelwerte erzeugen ähnliche Bitmuster — XNOR+Popcount bekommt eine semantische Bedeutung. Ohne Encoding bleibt CIFAR auf Zufallsniveau — für beide Ansätze (Otto und Hebbian).

Ziel-Initialisierung: Bayesianisch vs. Zufall — Gleiches Ergebnis

Die initiale Belegung der Zielmatrix (Target/Offset) hat keinen Einfluss auf die finale Genauigkeit:

Initialisierung	Beschreibung	Ergebnis
Bayesianisch	Log-Odds aus Klassenhäufigkeit	~55% nach 5 Epochen
Zufall	w0_random() >> OT_PRECISION	~55% nach 5 Epochen
Null	Alle Targets = 0	❌ Keine Konvergenz

Bayesianischer Start gibt einen Vorsprung in Epoche 1 (~30% vs. ~10%), aber bereits nach 5 Epochen sind beide innerhalb von 0.5 Prozentpunkten. Die 55-57%-Grenze ist architektonisch, nicht initialisierungsabhängig.

---

Update-Strategie: Zentral vs. Verteilt — Gleiches Ergebnis

Auch die Art der Korrekturverteilung ändert nichts am Endergebnis:

Strategie	Vorgehen	Ergebnis
Zentral (Batch)	Alle Fehler einer Epoche sammeln → einen gemittelten Korrekturschritt	~55%
Verteilt (Per-Sample)	Sofortige Korrektur nach jeder Fehlklassifikation	~55%

Die verteilte Variante zeigt etwas weniger Oszillation im Trainingsverlauf, aber bei deutlich höherem Rechenaufwand. Die Decke bleibt identisch. Die 55-57%-Barriere ist kein Optimierungsartefakt.

---

Die 60%-Mauer — Ein fundamentales Limit für CIFAR-10

Alle Experimente der letzten Wochen führen zu demselben Schluss: 60% auf CIFAR-10 sind eine fundamentale Obergrenze für DRAM-native Klassifikation ohne zusätzliches Vorwissen über die zu unterscheidenden Klassen.

Die Evidenzkette

1. Single frozen random projection — Otto Score, Hebbian und AdamW nutzen alle dasselbe Prinzip: ein zufälliges W0 (nie trainiert) + trainierter W1. Keiner überschreitet 59%.

2. Skaliert nicht — Weder größeres H (256→512: +0.3pp), mehr Ensemble-Mitglieder (1→16: marginal), mehr Epochen (5→20: marginal) noch Encoding-Variationen (alle 9 Typen × 3 Breiten) heben die Grenze über 59%.

3. Initialisierung egal — Bayesianisch, Zufall, zentrales Update, verteiltes Update: alles konvergiert zum selben Wert.

4. Hebbian mit Encoding bestätigt — Selbst mit optimalem Thermometer-Encoding und 11 Members bleibt CIFAR bei 32.4%. Der ceiling-Effekt ist kein Otto-Score-spezifisches Phänomen.

Warum 60% die Grenze ist

• CIFAR-10 hat 10 Klassen mit je 6000 Bildern
• Ein frozen random projection + linearer Klassifikator hat ~500K Parameter
• Die Zufallsprojektion zerstört feinkörnige räumliche Information
• MAJ3 komprimiert 768 Container auf 32 Bit pro Neuron — massiver Informationsverlust
• Ohne datensatzspezifische Vorverarbeitung (Augmentierung, Normalisierung, Kanal-Engineering) können Klassen mit ähnlicher Farb-/Texturstatistik nicht unterschieden werden

Position

> Jedes CIFAR-10-Ergebnis über 60%, das nicht seinen vollständigen Trainingspipeline (inklusive Daten-Augmentierung, Transfer-Learning und Architecture Search) offenlegt, ist potenziell durch datasetspezifisches Vorwissen beeinflusst. Die Kaggle CIFAR-10 Bestenliste ist kein valider Vergleich für DRAM-native Klassifikatoren, da dort GPU-optimiertes Deep Learning mit umfangreichem Vorwissen in Architektur und Vorverarbeitung zum Einsatz kommt.

---

Zusammenfassung

Erkenntnis	Status
Repository konsolidiert (MNIST + CIFAR unified)	✅
Encoding ist für bin32 zwingend erforderlich	✅ Bestätigt für Otto + Hebbian
Ziel-Initialisierung (Bayes vs. Zufall) → gleiches Ergebnis	✅
Update-Strategie (zentral vs. verteilt) → gleiches Ergebnis	✅
60% CIFAR-10 ist fundamentale Obergrenze	🧪 Alle Evidenzen stützen diese These
Multi-Member Hebbian (wie Otto)	✅ 11 Members, --encoding latest
Neu: Target-Erstinitialisierung hatte keinen Einfluss auf finale Genauigkeit	✅
Neu: Verteilte Korrektur hatte keinen Einfluss auf finale Genauigkeit	✅

---

Andreas Otto — Juli 2026

• Quellcode: github.com/aotto1968/forward-prop
• URL: https://forward-prop.nhi1.de/papers/status-2026-07.html

https://energynewsbeat.co/wind/wind-farm-near-highmore-south-dakota-has-critical-damage-highmore-sd/

SÜD-Korea verkündet 500 Mrd€ Investition in Technologie der Zukunft und Deutschland verkündet nach 1 Jahr Beratung neue Steuer-Erhöhung.

Die relative Luftfeuchtigkeit im japanischen Sommer (Juni bis August) ist extrem hoch und liegt im Durchschnitt zwischen 75 % und 80 %. In den Ballungsräumen wie Tokio, Osaka und Kyoto wird die Hitze dadurch als drückend und schwül empfunden.

Wichtige Details zur Luftfeuchtigkeit

• Der Auslöser: Die Regenzeit (Tsuyu) im Juni und Juli bringt feucht-warme Luftmassen aus dem Pazifik.
• Der Hitzeindex: Durch die hohe Feuchtigkeit verdunstet Schweiß schlechter. Die gefühlte Temperatur liegt oft deutlich über dem eigentlichen Messwert.
• Klimatisierung: Züge, Hotels und Geschäfte in Japan sind stark heruntergekühlt, was zu extremen Temperaturwechseln führt. [1, 2, 3, 4]

Suchen Sie nach Tipps, um mit der hohen Schwüle während einer Reise umzugehen, oder möchten Sie die Werte mit einer anderen Jahreszeit vergleichen?

[1] https://www.tagesschau.de [2] https://www.gesundheits-lexikon.com [3] https://www.ruv.de [4] https://www.tk.de

https://x.com/fasc1nate/status/2070620669046358511?s=20