trafilatura
Trafilatura, web sayfalarından metin ve meta veri ayıklamak için geliştirilmiş bir Python kütüphanesi ve komut satırı aracıdır. HTML içeriğini temizleyerek yapılandırılmış veriye dönüştürür ve sitemap ile RSS beslemeleri üzerinden tarama yapabilir. Veritabanı gereksinimi duymadan CSV, JSON, XML ve Markdown gibi çeşitli formatlarda çıktı üretir.
adbar · Web Kazıma & Otomasyon
Bu kategorideki yaygın ticari ürünler: Bright Data, Apify, ScrapingBee
- Web sayfalarındaki ana metinleri ve meta verileri HTML yapısından ayıklayabilirsin.
- Sitemap ve RSS beslemelerini kullanarak web siteleri üzerinde tarama yapabilirsin.
- Topladığın verileri JSON, CSV veya Markdown formatına dönüştürebilirsin.
- • NötrHacker News
Trafilatura: Web'de metin toplamak için Python aracı
“Sağ ol! İşte docs'ta bir araya getirdiğim şey, temel olarak preprocess/render/filter web sayfalarını seçtiğiniz yazılımla değiştirebilir ve daha sonra sonucu trafilatura'ya aktarabilirsiniz:”
- ↓ OlumsuzGitHub Issue
Daha küçük ekstraksiyon hatalarının listesi (metin & metadata)
“Trafilatura'yı çoğunlukla sörfle veya web taramaları sırasında karşılaştığım bir dizi İngilizce, Almanca ve Fransızca web sayfasında test ettim. Çıkarmanın şu ana kadar çalışmadığı diğer dillerde kesinlikle daha fazla web sayfası ve vaka var. Yazılan hata raporları...”