Crawlee
Crawlee, web kazıma ve tarayıcı otomasyonu süreçlerini uçtan uca yönetmeyi sağlayan bir kütüphanedir. Modern bot korumalarına karşı insan benzeri davranış sergileyen tarayıcılar oluşturmaya yardımcı olur ve verileri makine tarafından okunabilir formatlarda kalıcı olarak depolar. TypeScript ve Python dilleri için uygulamaları mevcuttur.
Crawlee
95apify · Web Kazıma & Otomasyon
Bu kategorideki yaygın ticari ürünler: Bright Data, Apify, ScrapingBee
- Web sitelerindeki bağlantıları tarayarak veri toplayabilirsin.
- JavaScript yoğunluklu sitelerle etkileşime girerek içerik çekebilirsin.
- Yapılandırılabilir ayarlar sayesinde projene uygun ölçeklenebilir tarayıcılar oluşturabilirsin.
- • NötrHacker News
Göster HN: Crawlee – Node.js için Web kazıma ve tarayıcı otomasyon kütüphanesi
“frameworks'da sürünmeye çalışıyorlar ve Scrapy'nin Splash üzerinden sürünmeye izin verdiği kesin, sadece ihtiyacım olan veya Scrapy'nin savunucusu olduğum bir şey değil, aynı zamanda uzun bir uzantı soyu var, belki Crawlee popülerlik arttıkça kazanacak ama ben görmedim...”
- • NötrHacker News
Göster HN: Crawlee – Node.js için Web kazıma ve tarayıcı otomasyon kütüphanesi
“Merhaba! Çok güzel bir proje. Sadece meraktan soruyorum, CreepJS'de Crawlee'ye hangi geziler? Üretimde gerçekten kullanan kimseyi duymadım (aslında üretim kullanımı için olduğunu düşünmüyorum). Toplam "güven puanı"nda kesinlikle aşırı iddialı, ancak (a) iyi bir şey gibi görünüyor ...”