ScrapingBee alternatifi açık kaynak projeler

Firefox için Kuklacı Desteği

“Gerçek şu ki, ikisi de. WebDriver BiDi ile otomatikleştirilebilmesi için Firefox'u değiştirmemiz gerekiyordu. Kuklacı ekibi, bir WebDriver BiDi backend uygulamak ve Firefox'u indirmek ve başlatmak için belirli desteği etkinleştirmek için Kuklacı'yı değiştirmek zorunda kaldı. Makale olarak...”

Firefox için Kuklacı Desteği

“İkna olmadım. v0.10.0, Google'ın Kuklacı kodunun yarısını ve hatta en son sürümde[0] ana paket Google'ın telif hakkını birkaç yüz kez referans alıyor gibi görünüyor. Kavramsal olarak çekirdek, bir düğüm sunucusu ile enjekte edilen Chrome DevTools arasındaki köprü...”

Kazıma: Python için Hızlı, Uyarlanabilir Web Kazıma

“Scracking, popüler alternatiflerden önemli ölçüde daha iyi performans gösterirken, web sitesi değişikliklerine otomatik olarak uyum sağlayan Python için yüksek performanslı, akıllı bir web kazıma kütüphanesidir. İster yeni başlayan ister uzman olun Scracking, bakımını yaparken güçlü özellikler sunar.”

"'TextHandlers' nesnesi, sayfa almaya çalışırken 'partition' özniteliği yoktur.

“Bunun için mevcut bir sorun varsa aradınız mı? - Mevcut sorunları araştırdım Python sürümü (python --version) Python 3.13.1 Scrapling sürümü (scrapling. version) 0.2.95 Dependencies sürümü (pip3 dondurma) aiohappyeyeballs ==2.4.4...”

[Bug]: Hata: Page.content: Hedef sayfa, bağlam veya tarayıcı kapatıldı

“crawl4ai sürümü 0.5.0.post4 Beklenen Davranış Paletli Geçerli Davranışı taramalı Aşağıdaki hatayı alıyorum [ERROR]... Hata: ...”

Tarayıcı kullanma hatası: maksimum tekrarlama derinliği aşıldı

“Sahip olduğum tarama uygulamasında maksimum özyineleme derinliğini aşmış bir hata alıyorum. Aşağıdaki parçanın bir kısmına bakın (Sadece bir kısmı dahil ediyorum, çünkü her şey çılgınca uzun ve çizgiler tekrar tekrar tekrar tekrar tekrar tekrar tekrar ediyor, bu yüzden çok kullanışlı değil). Bazı önemli...”

Pros'tan Scrapy İpuçları

“Elmadan portakala çok benzer. Nokogiri bir etiket çorbası ayrıştırıcısıdır. Scrapy, framework'yu kazıyan bir web. Çorba ayrıştırma etiketine ek olarak, Scrapy, metin kodlama sorunları, ağ sorunları nedeniyle başarısız olan url'leri yeniden denemek (istiyorsanız), istekleri göndermek gibi bir dizi şeyi ele alır...”

Pros'tan Scrapy İpuçları

“Bunun için Nutch gibi bir arama motoru tarayıcısını kullanmak daha iyi olur mu? Son zamanlarda Scrapy + Frontera vs Nutch'u deneyen bir müşteriyle tanıştık ve değerlendirmeleri Scrapy + Frontera'nın iki kat daha hızlı olduğu yönündeydi. Frontera FYI'da bir güverte: Bir kenara: temas kurmaktan çekinmeyin...”

Sistem güven mağazalarını varsayılan olarak 3.0.0'da kullanmayı düşünün.

“Çoğunlukla Linux sistemlerini kullanan insanlar tarafından, isteklerin sistem güven deposunu kullanmaması ve bunun yerine Certifi gemilerini kullanması sinir bozucu. Bu anlaşılabilir bir pozisyon. Certifi yaklaşımına kişisel bir bağlılığım var ama...”

SSL istemci yan sertifikası için parolayı belirtin

“Şu anda bildiğim kadarıyla, kimlik doğrulama için kullandığınız istemci tarafı sertifikasının şifresini belirtmek mümkün değildir. Bu biraz sorun çünkü genellikle her zaman özel anahtarı içeren .pem dosyanızı korumak için parola istiyorsunuz. openssl...”

mitmproxy --emudhra seçeneğini ekler

“Halka açık WiFi tehdit vektörü için (e.g. MITMProxy'yi trafiğinizi koklamak için çalıştıran haydut bir WiFi AP) vpn ile korunursunuz. Ancak daha geniş tehdit, e.g. bu uçucu CA'lara sahip eski ve paketlenmemiş cihazlar kurulu ve yükseltilebilir veya geri alınamaz - sert çerezler.”

mitmproxy --emudhra seçeneğini ekler

“Ben mitmproxy yerine happroxy tercih ederim. Doğal olarak, ağınızdaki tüm trafiği proxy yapıyorsanız daha hızlıdır. mitmproxy genellikle and/or ters mühendisliğini hata ayıklamak için kullanılır (e.g. belirli bir uygulama ile).”

Tarayıcı DevTools MCP: Playwright MCP'den %78 daha az jeton, daha hızlı ve tutarlı

“Evet, haklısın. Kazancın en büyük kısmı, CDP vs Playwright'tan değil, yürütme aracından (tek bir çağrıda birçok adımla mücadele) elde edilir. Playwright MCP, benzer bir kum havuzu eklediyse "diğer araçları çağıran script çalıştır" ve model aynı şekilde kullandıysa, jeton kullanımı ve dönüş sayısı...”

Tarayıcı DevTools MCP: Playwright MCP'den %78 daha az jeton, daha hızlı ve tutarlı

“Claude Code ile aynı doğrulama görevini yürüttük, aynı anda, MCP başına 3 çalışır. Tarayıcı DevTools MCP: 330K jeton, 12 dönüş, 2m45s. Oyun yazarı MCP: 1.5M jetonları, 48 52 dönüş, 6m. Yani %78 daha az jeton, %76 daha az dönüş, %57 daha hızlı. Görev düzeyindeki toplamları karşılaştırmak yerine...”

Show HN: Vibium – Selenium'un yaratıcısı tarafından AI ve insanlar için tarayıcı otomasyonu

“Ayrıca, Selenium'un çevresine (çoğunlukla WebDriver üzerinden) biri olarak, bazı zorluklar Selenium'un zaten bunun için yazılmış çok miktarda test koduna sahip olmasıdır - ve radikal API değişiklikleri yapmak, onun için yazılmış olan her testi kırar ve bu noktada etkili bir şekilde...”

Show HN: Vibium – Selenium'un yaratıcısı tarafından AI ve insanlar için tarayıcı otomasyonu

“Tarayıcı otomasyonunun eski güzel günleri! Selenyum için çok teşekkürler ve Vibium için en iyisi:)”

[1.14.0+] SmartScraperGraph ile pidantik Doğrulama Hatası

“Hatayı tanımla 1.14.0 sürümünden beri (1.15.0'da burada test edildi), OpenAI'deki SmartScraperGraph, pidantik ile ilgili bir hatayla çalışmayı durdurdu: /venv/lib/python3.12/site-packages/google crc32c/ init.py:29: RuntimeWarning: c uzantısı içe aktarılamadığından,...”

v1.15.0: OmniScraperGraph çalışmıyor: ImageToText için giriş anahtarlarını ayrıştırma hatası

“OmniScraperGraph hata atar böceği tanımla. GitHub üzerinde minimal örnek üzerinde test edilmiştir. [omni kazıyıcı openai.py]( Bash mkdir testi cd testi python3 -m venv venv kaynağı venv/bin/activate bash pip kurmak scrapegraphai "scrapegraphai[burr]" ...”

iOS için f.lux artık mevcut değil

“Ortak görevlerim için sezgisel, kullanımı kolay bir WIMP sistemine sahip olmayı seviyorum. E-postamı bir terminal penceresinde okumak veya programcı tarafından tasarlanmış bir UI ile bazı X11 sohbet uygulamasını kullanmak istemiyorum. Aynı zamanda istediğim zaman bağırsaklarla oynaşacak bir terminal penceresine sahip olmak hoşuma gidiyor. Bazı...”

iOS için f.lux artık mevcut değil

“Redshift, aynı zamanda çalışan ve kullanımı basit bir kabuk komutuna sahip hafif bir programdır. Bu bazı Linux kullanıcıları için çekici :) Ve 1000K'ya kadar gidiyor, sadece kırmızı kanalı bırakıyor :) Bu özellikle kullanışlı değil, ancak Redshift'i kelimenin tam anlamıyla yapıyor ...”

ArchiveBox gelişiyor: self-hosted internet arşivlerinin geleceği

“ArchiveBox ayrıca arşivlerin gerçek kriptografik imzalanmasını desteklemek için hazırlanıyor Bu gerçekten ilginç bir nokta. Bağırsak tepkisi "neden MD5 checksum'un çok süslü bir kuzeni gibi güzel bir şey eklemek için zaman harcıyoruz, zamanın ve çabanın gerçek eti...”

ArchiveBox gelişiyor: self-hosted internet arşivlerinin geleceği

“ArchiveBox ile birçok kez başlamaya çalıştım, ancak her zaman oldukça buggy idi (Safari'de çalışmıyor, çalıştırmak için biraz clunky, ...) ama son aylarda birçok güncelleme fark ettim, bu yüzden ileriye doğru ilerlediği ve ona başka bir şans verdiği için heyecanlıyım.”

Show HN: Stagehand – bir open source tarayıcı otomasyonu framework AI tarafından desteklenmektedir

“Hem evet hem hayır. Web üzerinde çalışmak için bir VLM almak kesinlikle harika olurdu, ancak esas olarak sınırlayıcı kutuları geliştirmek ve hareket etmek etrafında kendi sorunları ile birlikte gelir. Stagehand için varsayılan bir düşüş olarak vizyonumuz var, ancak VLM'ye gönderilen ekran görüntüsünün genellikle...”

Show HN: Stagehand – bir open source tarayıcı otomasyonu framework AI tarafından desteklenmektedir

“İşte bu! Bunlar hem olağanüstü projeler, hem de yazarlarına göre kudos. Stagehand, ince taneli kontrolü birinci sınıf bir vatandaş yapması bakımından farklıdır. Çoğu zaman, bir web acentesinin attığı adımları tam olarak kontrol etmek istersiniz. Diğer araçları kullanma deneyimimiz, tek...”

Colly – Golang için Kazıma Çerçevesi

“Lütfen ana colly.go dosyanızı ayrı parçalara ayırın. Mümkünse, çerezleri ve regex'ten html'e ve senkronizasyon erişimine kadar her şeyi kapsayan 30 satırlık bir ithalat tanımına sahip olmamanız gerekir. Diğer kutuda DNS önbelleklemesini kullandığınızdan emin olun, Go'ya ekleyin. Colly sadece bir tanesini destekliyor...”

Colly – Golang için Kazıma Çerçevesi

“İyi performans, iyi bir ağ altyapısına sahip olmanız veya sunucunuzun sınırlı kaynakları olması durumunda önemlidir. Bant genişliği ve IP sınırları en yaygın şişe boyunlarıdır, ancak bunlar birden fazla proxy ve ssh tüneli kullanılarak çözülebilir. Colly, proxy'leri değiştirmek için destek oluşturdu...”

Bir aktörün trajik ölümü: Moli re (2013)

“"Bir yıl sonra, Moli re'in kendi kendini kandırması daha açık hale geldi. Yeni oyun The School for Wives Criticized, kısa, gayri resmi bir skeç, Moli re'in eleştirmenlerini The School for Wives hakkındaki bir tartışmada alaya alıyor. Önemli bir şekilde, Moli re sahnede kendi oyununu savunmadı. Onun yerine...”

World Wide Web Surfers için bir Bilgi Grafiği Beyin

“İnternete göz atarken, bir ton içerik kaydetme eğilimindeyim - ancak ne zaman ve ne kaydettiğimi hatırlıyor musunuz? Hatırlaması zor! SurfSense'in geldiği yer burasıdır. SurfSense, World Wide Web'de gördüğünüz her şey için bir Bilgi Grafiği Beyni gibidir. Şimdi, hiçbir zaman unutmayacaksın...”