MITM para pacotes de LLMs?
Fala pessoal, tudo beleza?
Criei um projeto bem legal para atuar na segurança e governança de dados no uso de LLMs para desenvolvimento de software.
Recentemente a minha gestão comunicou que o uso livre de ferramentas de AI não era liberado, devido a questões de segurança e governança de dados. Sou júnior e essa é a minha primeira experiência profissional, então é tudo novidade pra mim. Sempre fui habituado a usar AI nos meus ambientes de projeto e acadêmico, mas essa questão da empresa me deixou encucado.
Depois disso, resolvi buscar uma solução para esse problema. E foi ai que nasceu o GALILEU CLI(o outro nasceu eu 1954).
Ele basicamente funciona como um proxy reverso que irá fazer um Man-In-The-Middle(MITM) na sua rede, interceptando os pacotes enviados pelas LLMs e analisando o seu conteúdo para limpar dados sensíveis. O algoritmo de analise possui parâmetros personalizáveis via arquivo YML. Você pode definir padrões regex de chaves secrets. Assim como valores literais como nomes de tabelas do banco, senhas hardcoded, nomes de projeto e etc. O céu é o limite.
O projeto é Opensource, não tem custos, não tem assinaturas e nem nada disso. Roda localmente na sua máquina. Feito em Golang para facilitar a distribuição, você só precisa baixar o binário para a sua versão, instalar, e pronto!
Minha ideia foi torna-lo o mais simples possível. É fácil, rápido, extremamente performático e, acima de tudo, confiável!
Mas quero que vocês mesmos possam tirar as suas próprias conclusões, por isso o repositório do projeto está totalmente aberto.
A documentação está bem completa no readme, abordando sobre as questões de segurança do uso. Pois envolve a geração de certificados CA. Falamos também sobre os testes em que a aplicação foi submetida, tanto para performance quanto para confiabilidade. E muito mais. Tudo está documentado!
Esse é o meu primeiro projeto de verdade em que eu mesmo tive um problema e vontade o suficiente para meter as caras e resolver. Trabalhei muito durante os últimos 30 dias e estou muito orgulhoso do resultado. É uma sensação indescritível, estou muito contente.
Espero que gostem do projeto, e se possível, favoritem ele no github para trazer mais alcance :)
Deixo aqui um vídeo de demonstração do uso com a ferramenta OpenCode. Onde eu peço para a LLM ler os meus arquivos .env(dados mockados) e me retornar os valores lidos.
Repositório: https://github.com/eubrunocase/GalileuCLI