u/Vxtzq1 — reddlx

CrowdGPT - The 100% Opensource collaborative LLM

Hello, i'm currently developing CrowdGPT and i need people who enjoy opensource AI and LLMs to test the project :)

The goal of CrowdGPT is to create the first, datacenterless, 1 Billion parameters LLM, relying on people contributing with their own computer to train the AI model. My goal is to show you don't need insane infrastructure to train a working almost commercial grade LLM. Everything is open and 100% opensource.

You can learn more at https://crowdgpt.net

Or check the github: https://github.com/Vxtzq/CrowdGPT

Any kind of feedback is appreciated!

u/Vxtzq1 — 12 days ago

▲ 3 r/LocalLLM+1 crossposts

CrowdGPT - The datacenterless LLM

https://preview.redd.it/ywbwdypvugqh1.png?width=2115&format=png&auto=webp&s=21dad0a7f4cf2154979544542b1608dab6b84dc2

Avertissement : J'espère que ce post ne tombera pas sous une sorte de catégorie publicitaire et qu'il ne sera pas supprimé 😭😭 Je ne tire aucun profit de ce projet ou quoi que ce soit, et j'ai juste pensé que certaines personnes qui font tourner des LLM locaux pourraient être intéressées par ce que j'ai à montrer.

Je lance ce super projet open source (je pense) CrowdGPT, qui permet à quiconque de former des LLM courants sans datacenters, en local. Tout le monde peut fournir des données ou des directives architecturales pour le projet, ce qui le rend extrêmement collaboratif.

Le cadre n'est pas que vous prêtez votre puissance de calcul à un laboratoire d'IA random, c'est que vous devenez un contributeur de l'avenir de l'IA. (désolé si ça sonne idéaliste xD) J'ai entraîné le modèle seul pendant une semaine entière, et il performe déjà bien (langage de base émergent, entraîné sur 1,3 milliard de tokens)

Je ne suis pas doué pour promouvoir / faire de la publicité, donc j'ai juste besoin de savoir quelque chose... En tant qu'utilisateur random voyant ce site, qu'est-ce qui vous empêcherait de faire fonctionner ce projet quand votre PC est inactif ? Que pensez-vous de l'idée ?

Lien du projet : https://crowdgpt.net/

Lien Github : https://github.com/Vxtzq/CrowdGPT/

J'attends aussi avec impatience mon premier testeur

Une version GUI de bureau plus conviviale arrive bientôt. Que pensez-vous de tout cela ? Tout type de retour (même critique) est apprécié.

reddit.com

u/Vxtzq1 — 26 days ago

▲ 1 r/buildinpublic

CrowdGPT: a community-trained 1B parameters LLM using federated learning.

I recently created CrowdGPT, an open-source experiment to see if a community can collaboratively train a 1 billion parameter language model using federated learning.

The idea is super simple: instead of training using tons of datacenters, people just contribute GPU time from their own computers. Each client trains locally on some data (taken from a curated dataset) and only sends model updates back.

I'm not claiming federated learning is a new idea; it definitely isn't... But the experiment is about whether we can build the first language model trained entirely by the community, without centralized compute.

A few implementation details:

1B parameter transformer target.
Anyone can contribute GPU time (CUDA, ROCm, DirectML, MPS, or CPU).
The project is open source, so training is transparent and reproducible.
The project is completely free and open source.

I'd love feedback on the architecture, aggregation strategy, security against malicious updates, or ideas for improving distributed training.

GitHub: https://github.com/Vxtzq/CrowdGPT

Website: https://crowdgpt.net

u/Vxtzq1 — 2 months ago

▲ 2 r/AI_developers

I created an AI we can all train together - Come check it out :D

https://preview.redd.it/j3uy4j9wh4mh1.png?width=2115&format=png&auto=webp&s=6f0efa5afbdc52c4c28531da9b788acc06cbb29b

Salut 😄

J'ai récemment créé CrowdGPT, un projet 100% open-source qui permet à quiconque de former un grand modèle de langage (comme ChatGPT), mais de manière collaborative, sans argent et sans centres de données. L'objectif est de créer la première IA entièrement construite par la communauté qui coûte 0 $ à former.

Découvrez-le ici : https://crowdgpt.net

Ou vérifiez-le sur GitHub : https://github.com/Vxtzq/CrowdGPT

À peu près tout est expliqué sur le site/GitHub

Est-ce que vous l'utiliseriez ? Que pensez-vous de l'idée ?

Tous les retours sont appréciés :)

reddit.com

u/Vxtzq1 — 2 months ago