u/natanaelgomes00

Hi everyone. I'm building a company focused on providing human data for AI training, and I'd like to connect with people who work in this field. We're putting together a team of annotators to create datasets for response comparison, preference ranking, RLHF, SFT, and model evaluation. The goal isn't to produce data at the highest possible volume, but to deliver consistent, well-reviewed evaluations, because at the end of the day, that's what really impacts a model's quality. We're still in the early stages, and I'd like to better understand how companies training LLMs or AI agents are handling this today. Do you do everything in-house? Do you outsource it? Is it difficult to find people who can provide truly consistent evaluations? If you work in this field, or know someone who might need this kind of service, I'd really appreciate the opportunity to talk. I'm also open to suggestions on where to find companies looking for this type of operation. Any advice or suggestions would be greatly appreciated.

Pessoal, tudo bem? Estou montando uma empresa focada em dados humanos para treinamento de IA e queria trocar uma ideia com quem trabalha nessa área. Estamos estruturando uma equipe de anotadores para produzir datasets de comparação de respostas, ranking de preferências, RLHF, SFT e avaliação de modelos. A ideia não é fazer volume a qualquer custo, mas entregar avaliações consistentes e bem revisadas, porque no fim das contas é isso que realmente influencia a qualidade do modelo. Ainda estamos no começo e queria entender melhor como as empresas que treinam LLMs ou agentes de IA estão resolvendo essa parte hoje. Vocês fazem tudo internamente? Terceirizam? Existe dificuldade em encontrar pessoas que entreguem avaliações realmente consistentes? Se você trabalha nessa área, ou conhece alguém que possa precisar desse tipo de serviço, gostaria muito de conversar. Também aceito sugestões sobre onde encontrar empresas que estejam precisando desse tipo de operação. Qualquer ajuda e sugestão será bem-vinda.