Cherche à monter un PC dédié LLM local low-cost
trolonpalu: je voudrais me monter un pc pour un serveur IA local pour explorer ces outils et si possible faire du travail de dev de jeu solo mais à petit prix, voici les 3 options qui s'offrent à moi, laquelle est la plus sensée svp.
J'ai un background de développeur jeux vidéo mais j'ai récemment changer de secteur à cause de la situation actuelle qui n'est pas tenable, cependant, je n'ai pas abandonné la passion de créer du jeu.
Le problème est que je n'ai maintenant plus tellement le temps ni l'énergie pour m'y consacrer autant que je le voudrais. J'ai récemment expérimenté avec Claude en free, ça m'a beaucoup aidé mais les tokens partent trop vite et je déteste les abonnements (j'ai pas Netflix, je lâché la salle de sport pour de l'équipement maison...).
Alors il vient de me venir l'idée de créer ma propre station IA mais le problème c'est qui j'y connais pas grand chose. Alors avec l'assistance de ChatGPT j'ai passé une soirée à scruter les différents composants, entre les plus économes aux rapport qualité/prix plus efficace. Je veux un assistant personnel pour du code, design, documentation, test, débugage, déploiement... Le but c'est pas de créer une fourmilière d'agents qui sont une sorte de studio et qui font le jeu à ma place.
Mon PC principal est un Asus ROG Strix B650E-F Gaming Wifi - Ryzen 7 7800X3D - RX 7800 XT - 2 * 16 Go 6400 MT/s - 4 To de stockage répartis entre 3 ssd nvme Gen 4 et 5. Monté début 2024.
Il y a un an et demi je me suis monté un mini pc dont je me sers quasiment pas, seulement lorsque je suis en déplacement pour continuer à jouer et travailler. L'idée qui m'est venue serait de la transformer en serveur IA avec l'ajout d'un GPU dédié, et comme c'est un minuscule pc, seuls les gpu low profile sont compatibles d'où la Arc Pro B50 qui faite pour ce genre de système.
L'autre option est le PC bas de gamme mais je conserve l'autre machine. Est-ce qu'une Arc A770 peut faire le taf ? D'après ce que je vois la VRAM et bande passante et plus importante que la puissance de calcule brute.
La dernière option, la meilleure dans mon cas mais aussi la plus onéreuse, c'est un début de machine plutôt correcte pour débuter puis dans l'avenir, quand je serais plus à l'aise et que mes projets croissent (et que le ramaggedon sera dernière nous), ajouter de la ram et un deuxième gpu. Mais bon lâcher 1400€ d'un coup me fait un peu flipper.
Je pense que premièrement je vais utiliser mon mini pc tel quel comme banc d'essai, voir les outils dispo, qu'est-ce qu'un 8400f et 5060 avec 2*16Go de ram sont capables de faire, ça me permettra de meiux me projeter.
Merci pour ceux qui s'y connaissent de m'aiguiller, mes attentes restent modestes, je m'attend pas à un Jarvis évidemment.
