✔️ Presto (prestoDB/presto)

Это высокопроизводительный распределённый движок SQL для анализа больших объёмов данных в реальном времени. Основные характеристики:

Распределённая архитектура
Состоит из координатора и множества воркеров, которые параллельно выполняют фрагменты запросов, обеспечивая низкую задержку даже при обработке петабайтовых данных
GitHub

Поддержка ANSI SQL и UDF
Полноценная поддержка стандартного SQL с возможностью расширения набором пользовательских функций (UDF), агрегатов и аналитических функций.

Плагинные коннекторы
Из коробки доступны коннекторы к Hive (HDFS/S3), Cassandra, Kafka, MongoDB, MySQL, PostgreSQL, Elasticsearch и многим другим системам хранения. При желании можно написать собственный плагин
GitHub
.

Масштабируемость и отказоустойчивость
Горизонтальное масштабирование за счёт добавления воркеров, автоматическое перераспределение задач при выходе узлов из строя.

Удобство развёртывания
Можно собрать из исходников через Maven (./mvnw clean install), развернуть через Docker (официальный образ есть в папке docker/), или сразу использовать готовые пакеты на prestodb.io.

Клиенты и интеграции
Имеется CLI (presto-cli), JDBC/ODBC‑драйверы, REST API. Лёгко встраивается в BI‑инструменты и платформы визуализации.

Сферы применения
Ad‑hoc‑аналитика, интерактивные дашборды, federated query (объединение данных из разных источников), подготовка данных для машинного обучения.

https://github.com/prestodb/presto

@javatg

🖥 В этой статье автор объясняет, как структурировать Spring Boot-приложения для масштабируемых микросервисов, разделяя их на модули с отдельной функциональностью! Рассматриваются настройка Maven для управления зависимостями и взаимодействие модулей, упрощающее поддержку и масштабирование.

🔗 Ссылка: *клик*

@javatg

🖥 Собеседование: Архитектура потоковой обработки событий с откатом состояний

## Условие задачи:

Вам нужно спроектировать и реализовать на Java следующую систему:

1. Система подключается к непрерывному потоку событий (`EventStream`).
2. Каждое событие (`Event`) имеет структуру:

   class Event {
       String entityId;
       Instant timestamp;
       String eventType;
       Map<String, Object> payload;
   }
   

3. В реальном времени нужно собирать и поддерживать текущее состояние каждой сущности (`Entity`), применяя полученные события.
4. Система должна поддерживать откат состояния:
- Пользователь может запросить состояние любой сущности на любую произвольную временную точку (`Instant timestamp`).
- После отката система должна продолжать обрабатывать новые события без остановки и потери данных.

## Дополнительные требования:

- Потокобезопасность обработки событий и запросов на откат.
- Высокая производительность: обработка миллионов событий в минуту.
- Быстрый откат состояния (target: **< 100 мс**).
- Только стандартные библиотеки Java (`java.util.concurrent`, java.time, коллекции и т.д.).
- Архитектура должна позволять добавлять новые типы событий без модификации существующего кода.

## Бонус:

- Реализация механизма снимков (`snapshot`) состояний для оптимизации откатов.
- Автоматическое создание snapshot'ов каждые N событий для каждой сущности.
- Поддержка нескольких стратегий отката (например, быстрый откат по ближайшему snapshot + события, или чистая перемотка всех событий).

---

📌 Что оценивается:

Архитектура: Четкая декомпозиция слоёв, масштабируемость и возможность расширения системы без существенных изменений базового кода.

Работа с многопоточностью: Гарантия безопасности доступа к общим структурам данных в условиях параллельной обработки событий.

Производительность: Минимизация блокировок, эффективная работа с большими объёмами данных, оптимизация по времени отклика и использованию ресурсов.

Чистота кода: Понятные и логичные интерфейсы, чистая реализация без "грязных хака", хорошая читаемость и поддерживаемость кода.

Способность предвидеть риски: Умение анализировать потенциальные угрозы системе, например, рост очередей при перегрузке событий или замедление обработки данных.

Стратегии оптимизации: Эффективное использование snapshot'ов состояния, продуманная организация хранения и восстановления событий.

Обработка ошибок и отказоустойчивость: Умение проектировать систему так, чтобы она корректно вела себя при сбоях, сетевых ошибках и высоких нагрузках.

---

# Подводные камни:

- Проблема гонки состояний: если одновременно приходит событие и запрашивается откат — что происходит?
- Рост памяти: если хранить все события, как не "убить" память?
- Перепутанные таймстемпы: что делать, если события приходят с задержкой или не по порядку?
- Обновление типов событий: как легко добавить новый eventType без переписывания всей логики?
- Производительность при откате: как не делать полный перебор событий за годы работы?

---

# Рекомендация к решению:

- Используйте copy-on-write подход для состояний сущностей.
- Используйте параллельные структуры данных (`ConcurrentHashMap`, ConcurrentSkipListMap и т.д.).
- Реализуйте инкапсуляцию логики обработки событий через паттерн "Event Handler" или "Command Handler".
- Внедрите отдельный менеджер snapshot'ов и менеджер событий.

@javatg

👩‍💻 Redwood — библиотека для создания пользовательских интерфейсов на Android, iOS и в веб-приложениях с использованием Kotlin и Jetpack Compose!

🌟 Основная цель проекта — упростить разработку многоплатформенных интерфейсов, обеспечивая согласованность UI и возможность использования общих компонентов на разных платформах.

🌟 Redwood интегрирует систему дизайна и компонуемые функции (composables), что позволяет разрабатывать UI, которые адаптируются к особенностям каждой платформы. Это решение нацелено на повышение продуктивности и унификацию интерфейсов без необходимости писать отдельный код для каждой платформы.

🔐 Лицензия: Apache-2.0

🖥 Github

@javatg