Telegram Group & Telegram Channel
🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml



tg-me.com/ai_machinelearning_big_data/7652
Create:
Last Update:

🚀 Представлен Apache Spark 4.0 — крупнейший релиз с момента запуска Spark 2.0

Databricks анонсировали Spark 4.0 с множеством фундаментальных улучшений производительности и архитектуры.

Новый релиз фокусируется на ускорении обработки, поддержке GenAI-нагрузок и расширенной масштабируемости.

🔥 Что нового:


💡 Project Tungsten++, Catalyst++ — переработка движка исполнения и оптимизации запросов
🧠 Поддержка генеративных AI-запросов — Spark теперь эффективнее работает с LLM-нагрузками
⚙️ Новый Execution Engine — более 2× ускорение в среднем, до 10× в некоторых кейсах
📦 Модульная архитектура — теперь ядро Spark отделено от MLlib, GraphX и др.
🌐 Поддержка нового Shuffle-движка и улучшенное распределение по кластерам
🧪 Обратная несовместимость — Spark 4.0 требует миграции, особенно для UDF и кастомных оптимизаций

📌 Подробности и тесты:
https://www.databricks.com/blog/introducing-apache-spark-40

@data_analysis_ml

BY Machinelearning




Share with your friend now:
tg-me.com/ai_machinelearning_big_data/7652

View MORE
Open in Telegram


Machinelearning Telegram | DID YOU KNOW?

Date: |

What is Telegram?

Telegram is a cloud-based instant messaging service that has been making rounds as a popular option for those who wish to keep their messages secure. Telegram boasts a collection of different features, but it’s best known for its ability to secure messages and media by encrypting them during transit; this prevents third-parties from snooping on messages easily. Let’s take a look at what Telegram can do and why you might want to use it.

Unlimited members in Telegram group now

Telegram has made it easier for its users to communicate, as it has introduced a feature that allows more than 200,000 users in a group chat. However, if the users in a group chat move past 200,000, it changes into "Broadcast Group", but the feature comes with a restriction. Groups with close to 200k members can be converted to a Broadcast Group that allows unlimited members. Only admins can post in Broadcast Groups, but everyone can read along and participate in group Voice Chats," Telegram added.

Machinelearning from it


Telegram Machinelearning
FROM USA