Spider
Spider, Rust ile geliştirilmiş eşzamanlı öncelikli bir web tarama motorudur. Gelen sayfaları akış yöntemiyle işler, JavaScript'i yalnızca gerektiğinde çalıştırır ve tek bir betikten dağıtık bir yapıya ölçeklenebilir. Yerel olarak çalıştırılabilir veya proxy ve engel kaldırma gibi özellikler içeren bulut altyapısıyla kullanılabilir.
Spider
65spider-rs · Web Kazıma & Otomasyon
Bu kategorideki yaygın ticari ürünler: Bright Data, Apify, ScrapingBee
- Tek bir betik veya dağıtık işçi filosu üzerinden web sayfalarını eşzamanlı olarak tarayabilirsin.
- İhtiyaç duyulan sayfalarda JavaScript'i çalıştırarak sayfaları akış halinde toplayabilirsin.
- Yerel ortamda prototip oluşturup tek bir yapılandırma değişikliğiyle bulut altyapısına geçebilirsin.
- • Yayınlanmış sürüm yok
- ↓ OlumsuzHacker News
Örümcek zehiri bal arılarına zarar vermeden varroa akarlarını öldürür
“Örümcek zehiri kurtaran arılar bingo kartımda yoktu, ama bu gerçekten harika. Açıkçası "laboratuvardaki akarlar üzerinde çalışmalar", "gerçek bir kovanda güvenli ve ucuz bir şekilde çalışır"dan uzun bir yoldur, ancak varroa o kadar kötü bir sorundur ki, yeni bir yön bile dikkat etmeye değer.”
- • NötrGitHub Issue
Ayrıca diğer etki alanlarını işaret eden url'leri çıkarın? [CLI]
“Sadece "iç bağlantılar" alıyorum. Dış bağlantılara da ulaşmanın bir yolu var mı?”