Aveti grija daca folositi Claude pentru scraping
Ma obisnuisem de cateva luni cand aveam nevoie de un set de date sa il pun pe claudiu sa imi faca cate un scraper sa traga datele necesare. Era foarte ascultator, by default folosea curl cu un UA realist (de regula cate un Chrome mai vechi), iar daca site-ul facea figuri (cloudflare, datadome etc) trecea foarte frumos la un headless chrome cu spoofed fingerprint si ducea la capat task-ul.
Ei bine ultima oara cand i-am dat un task de genul, l-a executat frumos si a scrape-uit catevz mii de pagini pana a inceput sa primeasca 403-uri. Ok, ii zic sa foloseasca headless chrome. Pisatu incepe sa faca pula mare, ca el nu poate sa circumventuie anti-bot detection.
Sugi pula, lasa ca fac singur atunci. Deschid frumos scriptul facut de el cand vad ce a pus la UA, imi vine sa sparg monitorul:
“numele-proiectului/0.1 (research; descrierea proiectului;)”
Mai lipsea sa imi puna acolo si CNP-ul si era complet tot tacamul…
Cacatii astia de la Anthropic chiar nu stiu cum sa faca sa piarda subscriberi.