u/gevezex

I tried running local models (qwen3.6*, ds4 flash, gemma4*, etc) on my mbp pro m5 with 128Gb of unified memory and concluded the bottleneck is context size. The moment a conversation gets long (16k is already the bottleneck), inference slows to a crawl. If you work with Hermes agent you know this context size is almost the default with the bloated things. So my working strategy has become: chop every task into tiny pieces, spin up a fresh short session for each piece, and only pass the summary/output forward to the next step.

A concrete example: I want to scrape a bunch of sources overnight, collect the info, then generate a morning dashboard from all of it. The naive approach (one agent, one growing context) is unusable locally. The map-reduce approach feels right: many small parallel workers each doing one tiny extraction, then an aggregator that only sees the short summaries. But I'm building this by hand and it's fiddly.

What I'm wondering:

• Which open-source agent orchestration frameworks actually support this "stateless worker + tiny context per call" pattern well? Most agents I've looked at (CrewAI, AutoGen, default LangChain) drag the full history along, which is the opposite of what I need.
• Anyone built something like this already? A fan-out/fan-in pipeline where each LLM call stays small and the aggregator works only on compressed summaries?
• How are you keeping context per call minimal while still getting useful aggregation at the end?

PS: Not looking for hosted/API solutions specifically local-model constraints. Curious what patterns, frameworks, or projects people have landed on. Thanks!

Ik was gisteren in Duitsland, in de buurt van Münster, en we moesten nog wat tijd doden voor onze afspraak. We dachten: laten we gewoon even gaan shoppen. We pakten de eerste de beste supermarkt.

Wat mij echt verbaasde, waren de prijzen. Vooral biologische producten, maar ook gewone dagelijkse basisproducten zoals melk, meel, yoghurt, kaas, groente en dergelijke, waren daar vaak zeker 25% tot soms wel 50% goedkoper dan hier in Nederland.

Natuurlijk waren er ook producten die ongeveer even duur waren, bijvoorbeeld sommige wasmiddelen en dat soort artikelen, maar die categorie kon je bij wijze van spreken op één hand tellen.

Het meest opvallende vond ik nog wel de Goudse kaas. Zelfs De Amsterdammer lag daar gewoon voor een prijs waarvoor je hier hooguit huismerkkaas bij de Lidl koopt. Zijn dit geen producten die uit Nederland worden geexporteerd?

Deodorant en producten van de drogist scheelt echt 1 tot 3-4 euro per product. Gewoon om te huilen

Ik vraag me serieus af: wat maakt Nederland zó duur? Zijn het prijsafspraken? Hogere lonen? Hogere huurprijzen voor winkels? Belastingen? Minder concurrentie? Of zit er iets anders achter?

En misschien nog belangrijker: waarom lijkt hier zo weinig maatschappelijke verontwaardiging over te zijn? Vinden we dit allemaal gewoon normaal geworden?

Heel eerlijk gezegd werd ik ook een beetje boos, het zet je echt aan het denken om te verhuizen, niet omdat het zo veel goedkoper is maar het idee dat je overal word afgezet. Maar jah, dat is natuurlijk ook een beetje te veel van het goede om te verhuizen maar je blijft wel boos.

In ieder geval wij hebben ons voorgenomen om regelmatig in DE inkopen te doen. Denk dat we alleen al met de benzine het terugverdienen want E10 was 1,77 en dat is dan bijna 40-45 cent goedkoper. Daarmee kan je al bijna je reis terugverdienen en je inkopen zijn dan de bonus. En een lekker dagje uit.