u/OrionSyndulla

▲ 9 r/brdev

Discussão com equipe

Sou novo na empresa, uma multinacional. Me colocaram numa equipe que está desenvolvendo uma pipeline de fábrica de dados (usamos Databricks lá). Meu papel é mais estatístico, de construir métodos de limpeza de dados confiáveis.

Desde o começo tenho tentado lidar com o fato de eles não usarem versionamento de código nesse projeto. O código da pipeline fica na mão de uma pessoa que guarda tudo num ambiente específico que só ela tem acesso. E tudo tem que ser conversado pra ela dar acesso a um recorte de dados por algumas views e tabelas. Veja, não é para o dado final apenas, é pra tudo. Pra ser mais específico, é um time responsável por essa operação que deixou essa pessoa à frente. O fato é que eu não tenho total visibilidade da linhagem de dados e isso está sendo um empecilho enorme pra evoluir com meu papel.

Pois bem, sexta-feira eu meio que explodi. Não dá pra trabalhar assim. Nunca vi isso em lugar nenhum e tenho já alguns anos na área. Consegui convencer a PO tentar mudar isso, marcaram reuniões pra resolver ao longo da semana, mas tenho a sensação que vou ser enrolado em 1000 argumentos na hora do H. Simplesmente pela falta de um git. O argumento deles é de "governança de dados", que é um argumento furado se as pessoas soubessem usar o git de verdade. É falta de conhecimento mesmo.

Alguém já passou por isso? O que recomendam? Como abordar?

reddit.com
u/OrionSyndulla — 11 days ago