AI model gebouwd op Vlaamse data

Ik heb een LLM getrained met Vlaamse subreddit data

Ik heb via Reddit API comments en posts van het voorbije jaar binnengetrokken er vervolgens een model uit opgemaakt.

\\- 2× RTX 3090 (24 GB elk) met een NVLink-bridge, DeepSpeed ZeRO-2

\\- QLoRA: basisgewichten in 4-bit NF4, LoRA-adapters (rank 64) op de experts en de attention

\\- bf16, gradient checkpointing, sequentielengte 2048, micro-batch 1, gradient accumulation 64

\\- Throughput: ±1.800 tokens per seconde

De training liep in drie fasen:

\\- Continued pretraining op het volledige corpus, 2 epochs: ±23 uur.

\\- SFT op 12.000 vraag-antwoordparen, gemaakt uit vragen in posts en de best gescoorde reply daarop: ±6 uur.

\\- DPO: van comments onder dezelfde vraag is de hoogst gescoorde de "chosen" en de laagste de "rejected". Zo leert het model wat de gemeenschap grappig vindt. ±4 uur.

\\- Netto ongeveer anderhalve dag, maar met alle mislukte runs zat ik aan ±9 dagen GPU-tijd. Dat is 700 watt × 216 uur ≈ 150 kWh, of zo'n €45 stroom.

Je kan er hier mee experimenteren: https://teletekst.lol/vox

u/sos_on_titties — 8 days ago

Een dag in het leven van een ITer

07u15: wekker gaat af

07u30: Avocado op ewa toast met chili crisp

08u: Ik stap in mijn levensloze Skōda maar met dat mobiliteitsbudget betaal ik wel de lening af van mijn vierkante betonnen nieuwbouwbunker.

08u30: gekleed in bruine chino en hemdje met korte mouwen kom ik op kantoor aan. Vandaag geen WFH want het is teamdag. Den Patrick moet niet komen want die heeft het aan zijn rug en gaat volgend jaar met pensioen.

09u: Standup. Ik weet niet meer wat ik vrijdag heb gedaan dus ik verzin maar wat: gefaalde testen, deploy gefaald en Ranjidhja die “”remote”” werkt had de opdracht weer eens verkeerd begrepen en kon niet verder zonder.

09u30: Tijd voor emails te lezen. Sonja snapt niet dat ze voor problemen eerst een ticketje moet loggen. Ik stuur ze mailtje terug met de link onze Jira.

10u: Tijd voor de retro. Deze sprint hebben we ons doel niet gehaald. Die ervoor ook niet. Wanneer was de laatste keer dat we die wel gehaald hebben? Toen ik nog een restje arbeidsvreugde had, Alain.

12u: Lunch. We praten bij over de LoL MSI Grand Final en de aankomende changes in Java 27. Onze teamlead had gisteren afbeelding met “A-IE” liggen maken en moest ze écht aan ons laten zien. Tof, Alain.

13u: Sonja heeft de weg naar mijn bureau gevonden. Zonder Jira ticket. Ik verwijs ze door naar Patrick, maar die zit thuis.

14u: Patrick belt me op. Hij neemt de rest van de week verlof, zit met burnout.

15u: Randjidhja belt me. Ze snapt niet waarom
haar testen falen. Ik kijk even mee en zie dat ze aan een story werkt van 3 jaar geleden. Ik zeg tegen Alain dat er niets mee aan te vangen is maar hij heeft een superbelangrijke Steerco meeting.

16u30: Sonja terug aan de bureau. Haar probleem is er nog steeds en Patrick antwoordt niet meer. Ik zeg dat ik er morgen wel eens naar zal kijken.

17u: Ik stap in mijn Skōda. Heb ze weer verdiend se. Nog maar 35 jaar werken en ik kan elke dag LoL spelen in mijn afbetaald huis.

reddit.com
u/sos_on_titties — 23 days ago

Mijn plan

Kijk, ik ben eigenlijk nie iemand die content is met gewoon wat aan te modderen. Ge hebt mensen die zeggen: “Als ik maar gezond ben en af en toe op reis kan, ben ik gelukkig.” Ja, goed voor hen. Maar ik wil meer.

Ik wil overal geraken. Steden, bossen, bergen, godvergeten baantjes waar ge zelfs geen deftige gps-verbinding hebt. Als er ergens iets bijzonders te vinden is, dan wil ik weten wat, waar en hoe ik eraan geraak.
En ja, daarvoor moet ge moeite doen. Ge moet trainen, blijven proberen en soms serieus op uw doos krijgen. Maar bon, daar leert ge van. Ik ben ook niet van plan om mij te laten tegenhouden door iemand die denkt dat hij beter is. Integendeel, dat motiveert mij alleen maar meer.
Ik wil ook zoveel mogelijk ervaring opdoen.

Nieuwe mensen leren kennen, slimmer worden, mijn strategie aanpassen als iets niet werkt. Ge kunt niet verwachten dat ge de top bereikt door heel de dag in uw zetel te liggen en te zeggen dat ge “potentieel” hebt.
Dus ja, ik heb een plan.

Een ambitieus plan zelfs. Misschien een beetje overdreven, maar ge moet toch ergens voor gaan in het leven. Om mijn doel te bereiken: de allerbeste Pokémon trainer worden.

reddit.com
u/sos_on_titties — 24 days ago
▲ 124 r/Belgium2

Ruimtelijk bewustzijn

Onmiddelijk als vak op school geven want holy fucking shit wat is iedereen zo onbewust over hun omgeving.

Uitstappen op de trein gaat niet want een horde mensen staan vanaf de deuren opengaan al te hengsten om binnen te kunnen.

Mensen in een drukke winkelstraat die plotsklaps stoppen en omkeer maken en dan maar tegen u aan lopen EN DAN NOG VERBAASD ZIJN DAT ZE TEGEN U BOTSEN

In een rechte lijn wandelen kan ook niemand meer, blijkbaar is zigzaggen op een smal voetpad de nieuwe meta??

Parkeer ook gerust uw winkelkar vlak tegen de rekken om dan elders iets te zoeken, als ge hem al niet dwars door het gangpad zet.

Ook leuk als iedereen kan meeluisteren tijdens uw doomscroll sessie, bonuspunten als ge op het OV zit.

De ganse straat blokkeren met uw auto omdat ge klapke maakt met uw kennissen die ge nooit belt om bij te praten.

Over blokkades gesproken, de roltrap is ook de plaats om met twee de boel op te houden. Ge weet dat ge sneller boven zijt als ge blijft wandelen op de rol?

Niets leuker dan aant koffiemachien een klapke doen maar kunde 5 stappen naar achter zetten zodat iedereen aan zijn koffie kan?

Tof dat ge veel vrienden hebt en met 3 of 4 over straat wandelt maar kvind niet zo chaud als ik met mijn schouders dan maar de gevel moet schuren. EN WEDEROM VERBAASD ZIJN ALS IK MIJN PLAATS OPEIS

Om een of andere reden is een in- of uitgang altijd dé plek om een klapke te doen???

reddit.com
u/sos_on_titties — 1 month ago

Beleefdheid in bordelen

Altijd als ik op een vrijdagavond naar het hoerekot hier langs de steenweg ga in mijn boerengat, staan die ouw knarren voor mij aan te schuiven aan de toog. Geen greintje manieren meer aan hun lijf, niks.

Die stappen daar binnen met hun beige fleece en zweetplekken, kijken madam Monique achter de bar aan en ’t is direct:
“E blond!” “Doe mich es Chantal veur e half uur.” “Ene me dikke tetten.”

Geen goeienavond, geen alstublieft, niks van “Zou Chantal misschien beschikbaar zijn?”. Gewoon direct commanderen alsof ze een bestelling doorgeven in de drive-in van de Quick.

En als Monique dan vraagt: “Wilt ge daar een glaasje lauwe cava bij voor de dame?”, knikken die gewoon nors of grommen ze: “Jaja, ’t is goe.”

Dan komt die meid naar beneden op haar plateauzolen, die mens krijgt zijn goesting boven in kamer vier, komt na twintig minuten puffend de trap weer afgezakt, smijt drie verfrommelde briefjes van vijftig op de toog en bolt het af. Zonder “merci hé”, zonder “tot de volgende keer”, zelfs geen vriendelijk knikske naar de portier.

Allez jongens, we leven toch in een beschaafde maatschappij? Een beetje etiquette in het horizontaal vertier mag toch nog wel? Zelfs als ge voor de zonde betaalt, kost alstublieft en dankuwel toch nog altijd geen cent extra.

reddit.com
u/sos_on_titties — 1 month ago
▲ 383 r/Belgium2

Roger en zijn speedpedelec

Fluo jaske, vizier naar beneden, en een Stromer van zijn werk

Schitterend hoe die mannen overal 45 per uur móéten vlammen. 30 op het jaagpad? Blijkbaar niet voor Roger.
Aan het rood licht kruipt hij dan nog snel voor iedereen om als eerste weg te zijn, want o wee als zijn gemiddelde zakt.

Komt ge in tegengestelde richting? Dan krijgde zijn 50.000 lumen fietslicht recht in uw ogen, al van 3km
ver.

Tot morgenochtend, Roger

reddit.com
u/sos_on_titties — 1 month ago

Stop met boterhammen in uw kind zijn brooddoos

Ik zie in de eetzaal op de school van onze Finn nog altijd enorm veel kindjes die gewoon een boterham met hespenworst of choco opentrekken.

Begrijp me niet verkeerd, ik snap dat dat makkelijk en snel is 's morgens, maar we geven ons nageslacht daarmee echt een compleet verkeerd signaal mee. Voeding is op die leeftijd niet gewoon uw maag vullen, het is een leermoment rond duurzaamheid, impact en empathie.

Wij zijn vorig schooljaar gestopt met brood. Niet omwille van een hype, maar omdat die klassieke Vlaamse boterhamcultuur totaal geen rekening houdt met wat een kind mentaal en fysiek nodig heeft tijdens zo'n drukke schooldag. We merken sindsdien zoveel meer rust en focus bij Finn.

Het vraagt echt niet zoveel moeite om die overstap te maken. Wat wij nu bijvoorbeeld vaak meegeven:
Linzen met koudgeperste hennepolie en fijngesneden rauwe boerenkool. Vult veel gelijkmatiger dan snelle koolhydraten en leert kinderen vanaf dag één de waarde van een plantaardig, lokaal eiwitprofiel zonder dierenleed.

reddit.com
u/sos_on_titties — 2 months ago