Telegram Group & Telegram Channel
🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml



tg-me.com/ai_machinelearning_big_data/7652
Create:
Last Update:

🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml

BY Machinelearning




Share with your friend now:
tg-me.com/ai_machinelearning_big_data/7652

View MORE
Open in Telegram


Machinelearning Telegram | DID YOU KNOW?

Date: |

Mr. Durov launched Telegram in late 2013 with his brother, Nikolai, just months before he was pushed out of VK, the Russian social-media platform he founded. Mr. Durov pitched his new app—funded with the proceeds from the VK sale—less as a business than as a way for people to send messages while avoiding government surveillance and censorship.

That strategy is the acquisition of a value-priced company by a growth company. Using the growth company's higher-priced stock for the acquisition can produce outsized revenue and earnings growth. Even better is the use of cash, particularly in a growth period when financial aggressiveness is accepted and even positively viewed.he key public rationale behind this strategy is synergy - the 1+1=3 view. In many cases, synergy does occur and is valuable. However, in other cases, particularly as the strategy gains popularity, it doesn't. Joining two different organizations, workforces and cultures is a challenge. Simply putting two separate organizations together necessarily creates disruptions and conflicts that can undermine both operations.

Machinelearning from cn


Telegram Machinelearning
FROM USA