u/Mundane_Let_8090

Привіт усім.

Пилю свій інструмент для вивантаження даних — Rivet.

Працює з PostgreSQL/MySQL, записує в Parquet/CSV, локально або одразу в GCS/S3.

Основний фокус — безпечне вивантаження з робочих баз без довгих важких запитів, особливо коли немає read replica і інфраструктура невелика.

Що вже є:

автоматичне розбиття на частини;
повтор заіейлених чанків;
продовження після збою;
планування та виконання експорту;
метрики виконання й навантаження на базу.

Буду дуже вдячний за фідбек і критику
https://github.com/panchenkoai/rivet

Всім привіт

Хочу поділитися своїм проєктом котрий націлений на датаекстракцію даних коли у вас в команді ще немає дата інженера ну або немає на це бюджету.

Суть проекту - це бінарь що в декілька команд вам єкспортне або всю базу або якусь велику широку або важку таблицю.

Можете звісно зауважити що ну типу можна зараз на пітончику навайбкодити або взяти шось типу аірбайта котрий тіки імеддами буде важить якмціла база або ще якісь дата платформу.

А потім якщо навіть у вас все це буде тут починаються приколи із тим що треба десь тримати стейт на кожен експорт або сітка моргнула і треба ретрай.

Ціль мого продукту це по-перше дбайливе відношення не тільки до ресурсів воркера але й до ресурсів бази. Навіть якщо у вас немає репліки то сейф пресет не буде читати агресивно.

Буду дуже вдячний за фідбек.

опенсорс дата екстрактор

Легкий та ресорс авейр дата екстрактор