Forschungs-Update — Juli 2026

Repository-Vereinheitlichung: MNIST + CIFAR aus einer Quelle

Das Repository wurde grundlegend konsolidiert. Statt getrennter Quellen für MNIST und CIFAR-10 gibt es jetzt eine gemeinsame Codebasis unter otto-score-ifc/:

otto-score-ifc/          ← Neue Wurzel der öffentlichen Distribution
├── mnist/               ← Enthält die echten Quelldateien
│   ├── mlp-bin32-otto-trn.c      ← Otto Score (MNIST + CIFAR in einer Datei)
│   ├── mlp-bin32-hebbian-trn.c   ← Hebbian (MNIST + CIFAR in einer Datei)
│   └── ki-common.h               ← Zentraler Header (modernisierte API)
├── cifar/               ← Symlinks auf ../mnist/ — kein eigener Code
├── reference/           ← Float32-AdamW-Vergleichsbaseline
├── lib/                 ← Gemeinsame Header (maj3.h, ki-encoding.h, …)
└── models/              ← Trainierte Modelle (cached)

Jeder Trainer ist gleichzeitig das Inferenzwerkzeug — über das --model-Flag wird aus dem Trainer ein reiner Klassifikator. Es gibt keine getrennten IFC-Quelldateien mehr. Das garantiert 0% Code-Drift zwischen Training und Inference.

Alle drei Ansätze (Otto Score, Hebbian, AdamW) sind jetzt auf beiden Datensätzen mit identischer Architektur vergleichbar:

Ansatz	MNIST (H=512, 10 Ep.)	CIFAR (H=256, 5 Ep.)
Otto Score	97.0%	55.0%
AdamW (float32)	92.6%	41.2%
Bin32 Hebbian	84.4%	32.4%

Der Hebbian wurde neu implementiert: vom naiven Per-Sample-Flip auf einen counter-basierten Update-Mechanismus umgestellt (wie die Referenz, aber mit Thermometer-Encoding). Die Ergebnisse: MNIST von 9.9% (random) auf 84.4%, CIFAR von 10.0% auf 32.4% (mit 11 Members via --encoding latest).

---

Encoding ist Pflicht — für kontinuierliche Daten (CIFAR)

Eine der wichtigsten Erkenntnisse: Ohne Thermometer-Encoding funktioniert bin32 auf Fotodaten nicht. Wichtig: MNIST ist die Ausnahme — Schwarz/Weiss-Ziffern sind binär von Natur aus (Tinte/keine Tinte), rohes Packen funktioniert direkt.

Daten	Ansatz	Encoding	Ergebnis
MNIST	Otto Score	Raw (beliebig)	97.0% ✅
CIFAR-10 (fotografisch)	Hebbian	Raw (R|G|B)	10.0% ❌ (Zufall)
CIFAR-10	Hebbian	exp8 Thermometer	23.1%
CIFAR-10	Hebbian	--encoding latest (11 Members)	32.4%
CIFAR-10	Otto Score	--encoding latest (11 Members)	55.0%

Das Thermometer-Encoding (exp8, raw8, sig8, …) bildet Helligkeit auf Bitmuster ab, bei denen popcount(encode(pv)) ∝ pv gilt. Ähnliche Pixelwerte erzeugen ähnliche Bitmuster — XNOR+Popcount bekommt eine semantische Bedeutung. Ohne Encoding bleibt CIFAR auf Zufallsniveau — für beide Ansätze (Otto und Hebbian).

Ziel-Initialisierung: Bayesianisch vs. Zufall — Gleiches Ergebnis

Die initiale Belegung der Zielmatrix (Target/Offset) hat keinen Einfluss auf die finale Genauigkeit:

Initialisierung	Beschreibung	Ergebnis
Bayesianisch	Log-Odds aus Klassenhäufigkeit	~55% nach 5 Epochen
Zufall	w0_random() >> OT_PRECISION	~55% nach 5 Epochen
Null	Alle Targets = 0	❌ Keine Konvergenz

Bayesianischer Start gibt einen Vorsprung in Epoche 1 (~30% vs. ~10%), aber bereits nach 5 Epochen sind beide innerhalb von 0.5 Prozentpunkten. Die 55-57%-Grenze ist architektonisch, nicht initialisierungsabhängig.

---

Update-Strategie: Zentral vs. Verteilt — Gleiches Ergebnis

Auch die Art der Korrekturverteilung ändert nichts am Endergebnis:

Strategie	Vorgehen	Ergebnis
Zentral (Batch)	Alle Fehler einer Epoche sammeln → einen gemittelten Korrekturschritt	~55%
Verteilt (Per-Sample)	Sofortige Korrektur nach jeder Fehlklassifikation	~55%

Die verteilte Variante zeigt etwas weniger Oszillation im Trainingsverlauf, aber bei deutlich höherem Rechenaufwand. Die Decke bleibt identisch. Die 55-57%-Barriere ist kein Optimierungsartefakt.

---

Die 60%-Mauer — Ein fundamentales Limit für CIFAR-10

Alle Experimente der letzten Wochen führen zu demselben Schluss: 60% auf CIFAR-10 sind eine fundamentale Obergrenze für DRAM-native Klassifikation ohne zusätzliches Vorwissen über die zu unterscheidenden Klassen.

Die Evidenzkette

1. Single frozen random projection — Otto Score, Hebbian und AdamW nutzen alle dasselbe Prinzip: ein zufälliges W0 (nie trainiert) + trainierter W1. Keiner überschreitet 59%.

2. Skaliert nicht — Weder größeres H (256→512: +0.3pp), mehr Ensemble-Mitglieder (1→16: marginal), mehr Epochen (5→20: marginal) noch Encoding-Variationen (alle 9 Typen × 3 Breiten) heben die Grenze über 59%.

3. Initialisierung egal — Bayesianisch, Zufall, zentrales Update, verteiltes Update: alles konvergiert zum selben Wert.

4. Hebbian mit Encoding bestätigt — Selbst mit optimalem Thermometer-Encoding und 11 Members bleibt CIFAR bei 32.4%. Der ceiling-Effekt ist kein Otto-Score-spezifisches Phänomen.

Warum 60% die Grenze ist

• CIFAR-10 hat 10 Klassen mit je 6000 Bildern
• Ein frozen random projection + linearer Klassifikator hat ~500K Parameter
• Die Zufallsprojektion zerstört feinkörnige räumliche Information
• MAJ3 komprimiert 768 Container auf 32 Bit pro Neuron — massiver Informationsverlust
• Ohne datensatzspezifische Vorverarbeitung (Augmentierung, Normalisierung, Kanal-Engineering) können Klassen mit ähnlicher Farb-/Texturstatistik nicht unterschieden werden

Position

> Jedes CIFAR-10-Ergebnis über 60%, das nicht seinen vollständigen Trainingspipeline (inklusive Daten-Augmentierung, Transfer-Learning und Architecture Search) offenlegt, ist potenziell durch datasetspezifisches Vorwissen beeinflusst. Die Kaggle CIFAR-10 Bestenliste ist kein valider Vergleich für DRAM-native Klassifikatoren, da dort GPU-optimiertes Deep Learning mit umfangreichem Vorwissen in Architektur und Vorverarbeitung zum Einsatz kommt.

---

Zusammenfassung

Erkenntnis	Status
Repository konsolidiert (MNIST + CIFAR unified)	✅
Encoding ist für bin32 zwingend erforderlich	✅ Bestätigt für Otto + Hebbian
Ziel-Initialisierung (Bayes vs. Zufall) → gleiches Ergebnis	✅
Update-Strategie (zentral vs. verteilt) → gleiches Ergebnis	✅
60% CIFAR-10 ist fundamentale Obergrenze	🧪 Alle Evidenzen stützen diese These
Multi-Member Hebbian (wie Otto)	✅ 11 Members, --encoding latest
Neu: Target-Erstinitialisierung hatte keinen Einfluss auf finale Genauigkeit	✅
Neu: Verteilte Korrektur hatte keinen Einfluss auf finale Genauigkeit	✅

---

Andreas Otto — Juli 2026

• Quellcode: github.com/aotto1968/forward-prop
• URL: https://forward-prop.nhi1.de/papers/status-2026-07.html

https://energynewsbeat.co/wind/wind-farm-near-highmore-south-dakota-has-critical-damage-highmore-sd/

SÜD-Korea verkündet 500 Mrd€ Investition in Technologie der Zukunft und Deutschland verkündet nach 1 Jahr Beratung neue Steuer-Erhöhung.

The Otto Score enables classification directly on DRAM chips exclusively with bitwise operations and achieves without floating-point or MAC units during inference 99.0 % accuracy on MNIST as well as 58.7 % on CIFAR-10.

This scientific status report summarizes the central findings of the Forward-Prop research project as of June 2026. It focuses on the methodological foundations, the Key-Findings and the implications for hardware-near inference. All information is based on the experiments and architecture analyses documented in the paper.

The core innovation consists in that each ensemble member is calculated completely independently and in parallel on separate DRAM rows. This increases the classification accuracy with growing ensemble size, without the inference latency increasing. Modern DDR5 banks with over 65,000 rows theoretically allow several hundred members simultaneously.

The training uses float32-based SGD to enable continuous gradients. The exported model however uses exclusively integer weights and bit-level operations such as &, |, ~, XNOR and Popcount. No multiplications, no divisions and no floating-point arithmetic are necessary during the inference.

• Channel: Transformed input representations such as luminance or color opponents, which each generate NC_slice uint32 containers per image
• Encoding: Thermometer-like bit patterns (e. g. exp8, sig8), which transfer continuous values into popcount-like binary patterns
• Member: Independent classifier consisting of frozen random projection W0 and trained target matrix
• Ensemble: Collection of parallel members, whose scores are summed and lead via Argmax to the final prediction
• MAJ3: Bitwise Majority-of-3 compression of several uint32 containers to 32 bits per neuron – lossy, but robust to noise
• HiddenN (H): Number of MAJ3 neurons per member, which each provide one bit per class vote
• Bit-Mass: Total information capacity calculated as H × EN × 32 Bits

The fundamental challenge lies in the transition from the continuous number world to the discrete binary world of the DRAM operations. While multiplications and additions are inefficient, row-wise bitwise comparisons can be executed highly in parallel. This requires a suitable binary encoding of the input pixels.

In the case of MNIST, classification already succeeds with raw binarization of the pixels (threshold 128). The 32-bit containers directly represent the shape of the digits. Already after one pass 86 % accuracy is achieved; iterative correction passes increase this to over 97 %. No special thermometer encoding is necessary, since the data is inherently binary-like.

CIFAR-10 poses higher requirements. Tiny intensity differences (e. g. 127 vs. 128) lead in 8-bit representation to strongly deviating bit patterns and break the similarity measurement via XNOR and Popcount. Thermometer encoding provides a remedy here, by ensuring that neighboring intensity values also receive neighboring popcount values. This restores the continuity of the input data in the binary space.

The target matrix corrects the log-odds of the bits projected by MAJ3. W0 remains unchanged during training and serves as a fixed random projection. The only trained component is the target matrix. Various step-decay modes (cos-time, pow, cos-err, const) and a soft error target (target-err) control the iterative learning process.

Experimental results demonstrate that increasing the ensemble size from 7 to 17 members enables an accuracy gain of around 8 percentage points on MNIST – without measurable influence on the chip latency. The row budget of modern DRAMs allows scalings far beyond the previously tested configurations.

In summary, Otto Score positions itself as a promising approach for energy-efficient edge inference. The method utilizes the inherent parallelism of memory rows and completely avoids expensive arithmetic units. Open questions concern the scalability to more complex datasets, the precise hardware evaluation as well as the combination with further channel- and encoding-specific transformations. The report underscores the potential to drastically reduce inference costs through architectural adaptation to existing memory technologies.

(Word Count: approx. 980; References: Forward-Prop Research Project, internal status paper June 2026)

📎 Source 1: https://forward-prop.nhi1.de/papers/otto-score-summary-2026-06.html

Die relative Luftfeuchtigkeit im japanischen Sommer (Juni bis August) ist extrem hoch und liegt im Durchschnitt zwischen 75 % und 80 %. In den Ballungsräumen wie Tokio, Osaka und Kyoto wird die Hitze dadurch als drückend und schwül empfunden.

Wichtige Details zur Luftfeuchtigkeit

• Der Auslöser: Die Regenzeit (Tsuyu) im Juni und Juli bringt feucht-warme Luftmassen aus dem Pazifik.
• Der Hitzeindex: Durch die hohe Feuchtigkeit verdunstet Schweiß schlechter. Die gefühlte Temperatur liegt oft deutlich über dem eigentlichen Messwert.
• Klimatisierung: Züge, Hotels und Geschäfte in Japan sind stark heruntergekühlt, was zu extremen Temperaturwechseln führt. [1, 2, 3, 4]

Suchen Sie nach Tipps, um mit der hohen Schwüle während einer Reise umzugehen, oder möchten Sie die Werte mit einer anderen Jahreszeit vergleichen?

[1] https://www.tagesschau.de [2] https://www.gesundheits-lexikon.com [3] https://www.ruv.de [4] https://www.tk.de

https://x.com/fasc1nate/status/2070620669046358511?s=20