r/vlaemsch

Ik heb een LLM getrained met Vlaamse subreddit data

Ik heb via Reddit API comments en posts van het voorbije jaar binnengetrokken er vervolgens een model uit opgemaakt.

\\- 2× RTX 3090 (24 GB elk) met een NVLink-bridge, DeepSpeed ZeRO-2

\\- QLoRA: basisgewichten in 4-bit NF4, LoRA-adapters (rank 64) op de experts en de attention

\\- bf16, gradient checkpointing, sequentielengte 2048, micro-batch 1, gradient accumulation 64

\\- Throughput: ±1.800 tokens per seconde

De training liep in drie fasen:

\\- Continued pretraining op het volledige corpus, 2 epochs: ±23 uur.

\\- SFT op 12.000 vraag-antwoordparen, gemaakt uit vragen in posts en de best gescoorde reply daarop: ±6 uur.

\\- DPO: van comments onder dezelfde vraag is de hoogst gescoorde de "chosen" en de laagste de "rejected". Zo leert het model wat de gemeenschap grappig vindt. ±4 uur.

\\- Netto ongeveer anderhalve dag, maar met alle mislukte runs zat ik aan ±9 dagen GPU-tijd. Dat is 700 watt × 216 uur ≈ 150 kWh, of zo'n €45 stroom.

Je kan er hier mee experimenteren: https://teletekst.lol/vox