u/throwawaylowcarb

Hola! He estado averiguando sobre hardware para correr tu propio modelo local de LLM y quería saber si alguien ya ha hecho esto, cuales han sido las desventajas (me imagino que sube la cuenta de la luz si lo tienes corriendo 24/7), cual ha sido más o menos el costo total de armarse una máquina que pueda correrlos, disponibilidad de partes, desafíos técnicos, etc.

He estado revisando y se que actualmente existen mini pcs desarrrolladas por amd o nvidia que están pensadas para correr IA local, pero no he visto que vendan en Chile.

Bueno, cualquier sugerencia o aporte se agradece!

Hola! He estado averiguando sobre hardware para correr tu propio modelo local de LLM y quería saber si alguien ya ha hecho esto, cuales han sido las desventajas (me imagino que sube la cuenta de la luz si lo tienes corriendo 24/7), cual ha sido más o menos el costo total de armarse una máquina que pueda correrlos, disponibilidad de partes, desafíos técnicos, etc.

He estado revisando y se que actualmente existen mini pcs desarrrolladas por amd o nvidia que están pensadas para correr IA local, pero no he visto que vendan en Chile.

Bueno, cualquier sugerencia o aporte se agradece!