Apache Spark

Apache Spark, büyük ölçekli veri işleme için birleşik bir analiz motorudur. Scala, Java ve Python için yüksek seviyeli API'ler sunar (R API'si kullanımdan kaldırılmış olarak işaretlidir). SQL ve DataFrame için Spark SQL, pandas iş yükleri için pandas API on Spark, makine öğrenmesi için MLlib, çizge işleme için GraphX ve akış işleme için Structured Streaming gibi üst düzey araçlar içerir.

AP

apache · Veri Hattı & ETL

YILDIZ44.4K
ÇATAL29.6K
COMMIT—
KATKICI3.5K
SÜRÜMv4.2.0-rc6
GÜNCELLEMEbugün
big-dataDağıtıksparkmlApache-2.0

Bu kategorideki yaygın ticari ürünler: Fivetran, Informatica, Stitch

Ne yapar?
  • Spark SQL ve DataFrame yapılarını kullanarak veri analizi süreçlerini yönetirsin.
  • MLlib kütüphanesi ile makine öğrenmesi modelleri geliştirirsin.
  • Structured Streaming aracılığıyla veri akışlarını işlersin.
Dikkat
  • • Yüksek açık issue sayısı (742)
Kullanıcı yorumları
  • • NötrHacker News

    Amazon'un EC2'de Apache Spark'tan Ray'e exabyte ölçekli göçü

    “Herkesin Apache Hadoop'tan Apache Spark'a geçtiği zamanı hatırlıyorum. Bu muhtemelen benzer bir deniz değişikliği gibi görünüyor. Diğer birçok kullanıcının Spark üzerinden Ray'i kucaklayıp kucaklayacağından emin değilim, ancak bu insanların Spark'ı bazı temel seviyelerde geliştirmek istediklerinin bir işareti veya...”

  • • NötrHacker News

    BlazingSQL – GPU SQL Engine Artık Apache Spark'tan 20X Daha Hızlı Çalışıyor

    “Makalenin devamında: Orijinal demomuzda, 8 CPU düğümüne karşı bir V100 GPU çalıştırdık. Yeni T4 GPU'lar maliyetimizi yarıya indirdi, bu da fiyat paritesini korumak için Apache Spark kümesini 4 CPU düğümüne düşürdüğümüz anlamına geliyordu. Azaltılmış GPU belleği ile bile, tüm iş yükü...”

Web Sitesi GitHub

README ile doğrulandı · 26 Eki 2026 · kaynak

Notum

Alternatif sayfaları

Aynı kategoride: Veri Hattı & ETL