🔥 Тест по высоким нагрузкам на Linux 🔥

Ответьте на 9 вопросов и проверьте, насколько вы умеете решать задачи связанные с высокими нагрузками и на сколько готовы к обучению на курсе — «Инфраструктура высоконагруженных систем».

За 5 месяцев курса вы научитесь решать 3 глобальные задачи:
- Виртуализация с помощью таких инструментов, как Proxmox, KVM, oVirt, Xen
- Кластеризация сервисов и построение дисковых кластеров 
- Построение высоконагруженных систем на базе nginx 

Время прохождения теста ограниченно 20 минутами.

👉 ПРОЙТИ ТЕСТ — https://otus.pw/B3Ha/

💣 Пройдёте тест, получите специальные условия для поступления на курс и доступ к 19 открытым урокам курса.

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

​​У браузера Firefox и всех остальных, что созданы на его основе, есть отличительная особенность, которая кому-то нравится, кому-то нет. Всё зависит от ситуации. У этого браузера своё собственное хранилище сертификатов, куда можно добавлять доверенные центры сертификации, минуя системное хранилище ОС. Для централизованного управления это скорее минус, а для индивидуального использования больше плюс.

Благодаря этому можно выделить отдельный портабельный браузер под какие-то прикладные задачи. Например, ходить на гипервизоры Proxmox без надоедливых предупреждений браузера о том, что нет доверия сертификатов.

Уже предвещаю комментарии на тему того, что надо настраивать ACME, создавать доменные имена и получать валидные сертификаты. Либо использовать какой-то обратный прокси для получения сертификатов и проксирования запросов.

Всё это можно сделать. Но, к примеру, у меня наберётся с десяток одиночных гипервизоров, где я не буду всего этого делать, потому что нет смысла. Доступ из интернета к ним открывать не буду. Я работаю с ними один, к ним нет доступа из интернета. Они принадлежат разным проектам и не объединены между собой. Мне проще забрать с этих гипервизоров pve-root-ca.pem, добавить в браузер, чтобы не засорять систему и сохранить учётки для быстрого входа. Доступ к ним всё равно закрыт списками IP адресов на файрволе.

Для того, чтобы настроить доверие для самоподписанного сертификата Proxmox, который создаётся во время установки гипервизора, надо зайти в веб интерфейсе в раздел System ⇨ Certificates. Выбрать сертификат pve-root-ca.pem, открыть его исходный текст. Скопировать и сохранить его в любой текстовый файл, указав ему расширение .crt.

Далее идём в браузер на основе Firefox. Я использую портированный LibreWolf. Переходим в Settings ⇨ Privacy & Security ⇨ Certificates ⇨ View Certificates. Там делаем Import сохранённого сертификата. Теперь из этого браузера при входе на веб интерфейс Proxmox не будет предупреждения. У вас появится возможность сохранить данные аутентификации.

#proxmox

​​Расскажу про очень простую и функциональную систему отправки уведомлений во все современные каналы - Apprise. Она представляет из себя консольное приложение, в которое через параметры командной строки можно передавать настройки для отправки уведомлений.

Apprise поддерживает Telegram, Discord, Mattermost, NextcloudTalk, Revolt, Rocket.Chat, Slack, WhatsApp и т.д. Помимо мессенджеров сообщения можно доставлять в Syslog, Pushover, ntfy, Mailgun, обычную почту и кучу других сервисов, в том числе пуши на комп можно отправлять. Они все перечислены в репозитории. Список очень большой.

Работает это примерно так. Ставим Apprise из pip:

# apt install python3-pip
# pip install apprise --break-system-packages

Открываем репозиторий и смотрим синтаксис необходимого вам направления. Пример для Telegram:

# uptime | apprise -vv \
  'tgram://1393668911:AAHtETAKqxUH8ZpyC28R-wxKfvH8WR6-vdNw/211805263'

От правили вывод утилиты uptime в Telegram. Формат конфигурации такой:

tgram://bottoken/ChatID

или для нескольких чатов

tgram://bottoken/ChatID1/ChatID2/ChatIDN

Понятно, что только для Telegram это не имеет смысла. Туда можно и напрямую слать. Идея в том, что у тебя один инструмент объединяет все каналы. Можно сделать конфиг, в котором будут указаны разные каналы. Отправив информацию в apprise, он сам разошлёт по всем указанным направлениям. Ну и как плюс, более простая настройка, так как формат настроек разных направлений примерно одинаковый. Это просто удобно.

С помощью Apprise легко настроить отправку пушей через сервис pushover.net. У него бесплатный тарифный план позволяет отправлять 10,000 в месяц. Для многих задач этого будет заглаза.

Настройки можно выполнять через веб интерфейс. Для этого собрали готовый Docker образ. Там можно подготовить конфигурации отправлений, протэгировать их и использовать в консольных командах, отправляя запросы к Apprise API.

Система простая в настройке. Не надо изучать и разбираться с API сторонних сервисов. В Apprise они уже все собраны, а работа с ними унифицирована с помощью встроенного API или конфигураций. У продукта есть подробная wiki.

⇨ Исходники / Docker

#мониторинг

​​С момента перехода на Windows 11 я неизменно страдал (не сильно) от глючащего переключения раскладки клавиатуры. Оно по неведомой мне причине иногда не срабатывало. Как-то отследить и понять закономерность не получалось. То сразу переключает, то со второго или третьего раза.

Терпел я это долго, так как с наскока не получалось решить проблему. Причём переключение по комбинации клавиш win+пробел срабатывало всегда. А по настроенному мной левому ctrl+shift через раз. Так как я использую Punto Switcher, то выходил из ситуации относительно просто. Автоматом менял раскладку уже напечатанного текста, когда не сработало переключение.

На днях мне всё это надоело, так что решил разобраться с проблемой. Полез в англоязычный интернет и там нашёл решение. Оказывается, это виндовый баг и мучаются с ним уже пару лет огромное количество человек. Ответ нашёл вот в этой ветке обсуждения форума:

⇨ https://www.elevenforum.com/t/horrible-keyboard-input-language-switch-lag-after-win-11-22h2-update.11418/

Там же есть демонстрация этого глюка в виде записи экрана. Я сразу понял, что проблема один в один как у меня. Как оказалось, причина тормозов с переключением - новое окошко, которое выскакивает при переключении раскладки. Снизу прикреплена картинка с этим окном. Из-за того, что подтормаживает его отрисовка, не всегда переключается раскладка при быстром нажатии клавиш. Если зажать клавиши и подержать секунду, то гарантированно переключается.

Адекватного решения проблемы средствами Windows, как я понял, не существует. Люди просто отключают переключение раскладки в винде и переключают раскладку сторонним софтом. Я так и сделал. Включил переключение раскладки по кнопке Caps Lock через Punto Switcher. Я всё равно её не использую. Так переключать даже удобнее. Уже привык.

Сколько сюрпризов и неудобств привнесла Windows 11. Если бы знал о них заранее, оставался бы на десятке. Я тут кое о чём писал уже. Например, о неработающей аутентификации с учётной записью Администратор, или о невозможности перенести панель задач на правую сторону экрана.

#windows

​​На днях вышло обновление Proxmox 8.2, в котором появилось несколько интересных нововведений. Самое полезное на мой взгляд - импорт виртуальных машин из VMware ESXi. Я не сразу понял, как это реализовано. Обновил тестовый гипервизор, всё там пересмотрел и не нашёл импорт. Полез в документацию.

1️⃣ Работает он следующим образом. В списке Storage, доступных для добавления, появился новый тип - ESXi. Для добавления нужно указать его адрес и рутовую учётку. После этого в списке этого хранилища будут отображаться виртуальные машины хоста ESXi, откуда можно быстро выполнить импорт. Сделано удобно с минимум необходимых телодвижений. Жду, когда то же самое появится для Hyper-V. Лично для меня это более актуально.

2️⃣ Второе значительное изменение - появилась возможность в качестве встроенного файрвола использовать nftables, а не iptables. Пока это надо явно включить. Переход на nftables только прорабатывают, собирают обратную связь. В будущих релизах он заменит iptables окончательно. Так что можно потихоньку переползать. Кто не знаком с nftables, у меня есть небольшая статья по базовым правилам.

3️⃣ Третье важное дополнение. В настройках встроенных бэкапов появилась новая вкладка Advanced с дополнительными настройками процесса снятия бэкапов. Туда переехали настройки по ограничению ширины канала при бэкапе. А также добавилась новая настройка Backup fleecing, которая включает режим буферизации на локальный диск. Перед передачей на внешнее хранилище, бэкап работающей машины может кэшироваться на отдельном локальном storage, который можно выбрать из подключенных. Это снизит нагрузку на работающую VM во время снятия бэкапа и в целом ускорит процесс, так как кэшировать можно на наиболее ненагруженное хранилище. Возможно будет иметь смысл выделить отдельное хранилище под это дело.

Остальные изменения не такие существенные, поэтому перечислю их кратко:
◽появилась утилита proxmox-auto-install-assistant для подготовки установочного образа с готовыми настройками для установки без участия человека;
◽в веб интерфейс добавлена возможность настройки проброса устройств в lxc контейнеры;
◽в настройках ACME можно добавить любой другой удостоверяющий центр, отличный от Let's Encrypt;
◽изменились некоторые настройки веб интерфейса: не активируется режим редактирования полей при попытке скопировать данные оттуда, актуально, к примеру, для поля Notes с описанием VM, также изменилось положение кнопки с отменой введённых настроек.

Посмотреть, как все изменения выглядят в веб интерфейсе, можно вот в этом видео:

▶️ https://www.proxmox.com/en/services/videos/proxmox-virtual-environment/whats-new-in-proxmox-ve-8-2

Нравится, как команда Proxmox оформляет все свои обновления. Максимально подробно и текстом, и в виде роликов. Другим компаниям бы брать пример.

#proxmox

​​В продолжение темы с уведомлениями в Apprise. Есть продукт на его основе, который умеет конвертировать email сообщения в уведомления apprise. Называется Mailrise. По своей сути это SMTP gateway для apprise.

Он поднимается как обычный SMTP сервер. Принимает сообщения и переадресует их в зависимости от настроек в необходимые каналы уведомлений. И речь тут может идти не только об уведомлениях в мессенджеры, смс, пуши и т.д. Например, mailrise может отправить email в формате JSON через HTTP POST запрос. Может в Syslog сделать запись с заголовком и текстом письма, может переслать на другой SMTP сервер. Продукт универсальный.

Насколько я понимаю, основное применение - отправка уведомлений с тех устройств и систем, которые кроме email ничего не умеют отправлять. Какие-нибудь свитчи, принтеры, может ещё что-то.

Покажу на примере, как это работает. Для начала установим Mailrise. Сделать это можно либо через pip, либо запустить в Docker. Я беру второй вариант, поэтому сразу подготовим конфигурационный файл, который мы передадим в контейнер.

Я буду принимать почту и отправлять уведомление в Telegram и Syslog. Для этого готовлю такой конфиг mailrise.conf в формате yaml :

configs:
 telegram:
  urls:
   - tgram://1393668911:AAHtETAKqxUH8ZpyC28R-wxKfvH8WR6-vdNw/211805263
 rsyslog:
  urls:
   - rsyslog://172.30.245.222

Запускаю контейнер с указанным конфигом:

# docker run -d -p 8025:8025 --restart always \
-v ~/mailrise/mailrise.conf:/etc/mailrise.conf \
--name mailrise \
yoryan/mailrise

Почтовый сервер готов принимать почту на порту 8025. Отправляю тестовое сообщение. Проще всего это сделать через PowerShell:

> send-mailmessage -from "admin@local" -to "Telegram <[email protected]>","Rsyslog <[email protected]>" -subject "Message from Mailrise" -body "Test Message" -smtpserver 172.30.245.222 -port 8025

В данном случае адреса [email protected] и [email protected] вымышленные. Имеет значение только название перед @. Оно должно соответствовать названиям конфигов в mailrise.conf. То есть если отправить почту только на [email protected], то оповещение придёт только в Telegram. То есть вот так:

> send-mailmessage -from "admin@local" -to "Telegram <[email protected]>" -subject "Message from Mailrise" -body "Test Message" -smtpserver 172.30.245.222 -port 8025

В Linux через консоль с указанием релея отправки проще всего использовать ssmtp. Для этого её надо установить и нарисовать простой конфиг:

# apt install ssmtp

В конфиг /etc/ssmtp/ssmtp.conf пишем:

root=admin@local
mailhub=172.30.245.222:8025
hostname=debian12.homelab.local

Отправляем почту через mailrise:

# echo "Test Message" | mail -s "Message from Mailrise" [email protected] [email protected]

Оповещение прилетит в Telegram и Rsyslog. В последнем будет примерно такая запись в логе:

2024-04-25T14:55:20.717270+03:00 172.17.0.2 - 1 - Message from Mailrise (admin@local): Test Message

Соответственно, можно указать отдельный facility и настроить в rsyslog.conf приём этих уведомлений в отдельный файл.

Подобным образом можно настраивать любой тип уведомлений, которые поддерживает Apprise. По мне так очень простое и функциональное решение. Понятно, что оно не везде нужно. Лишнюю прослойку без нужды не стоит использовать. Но в целом сделано неплохо.

Если нужна аутентификация, то добавить её можно следующими настройками в конфиге:

smtp:
 auth:
  basic:
   user01: password01

⇨ Исходники / Видеообзор

#mailserver

​​Пока прошлые статьи писал про сертификаты и Proxmox, возник вопрос. А как добавить в доверенные сертификат от Proxmox Backup Server, чтобы браузер не ругался? У него почему-то нет CA сертификата в веб интерфейсе, как в VE, который можно добавить в доверенные.

Немного поискал информацию и нашёл в официальной wiki на эту тему отдельную статью. Меня в ней привлекло вот что. В самом конце рассматривается случай, когда PBS и VE стоят на одной машине (Using Certificates from Proxmox VE). Авторы предлагают для PBS использовать тот же сертификат, что и для VE.

Меня удивило, что сами разработчики допускают использование обоих продуктов на одном железе. Я слышал, что так можно сделать, но не думал, что это может быть рекомендованная комбинация. Но, судя по всему, разработчики вполне допускают такое использование этих двух продуктов. Я лично PBS запускаю в виртуалке на том же гипервизоре, когда мне это нужно. Не рискую ставить рядом на ту же систему, что и гипервизор. Опасаюсь каких-то подводных камней от такого использования.

Пошёл смотреть документацию по установке PBS. Там есть отдельный раздел Install Proxmox Backup Server on Proxmox VE. Так что технически никаких проблем нет. Можно ставить PBS на хост виртуализации. Есть единственное предупреждение:

Не рекомендуется устанавливать сервер резервного копирования непосредственно на гипервизор. Безопаснее использовать отдельный физический сервер для хранения резервных копий. В случае сбоя гипервизора, вы всё равно сможете получить доступ к резервным копиям.

Предупреждение очевидное. Надо это понимать. Лично мне локальные копии нужны, чтобы в случае чего оперативно восстановить виртуальную машину из локального бэкапа. Само собой, он не единственный.

В целом, я бы всё же не рекомендовал ставить на один хост и PBS, и VE. Мне кажется, лучше в виртуалке (или в lxc) поднимать. Я не сторонник что-то настраивать на самих гипервизорах. Тогда они становятся невзаимозаменяемыми. Если есть возможность, лучше всё переносить в виртуальные машины. Если умрёт сервер, то простое восстановление виртуальных машин из бэкапа вернёт всю функциональность. А если что-то на гипервизоре настроено, то надо восстанавливать, и предварительно бэкапить, его настройки. Где-то это может быть оправдано, где-то нет.

Я если что-то и делаю на гипервизоре, так это только iptables настраиваю с nat. Все настройки - это единственный конфиг для iptables. Нетрудно сохранить.

#proxmox

▶️ Всем хороших выходных в праздники. Сначала думал в выходные сделать подборку видео, но в итоге передумал. Сделаю сейчас, а в выходные отдохну в том числе и от компа. Как обычно, ниже те видео из моих подписок за последнее время, что мне показались интересными.

⇨ Протокол HTTP | Компьютерные сети 2024 - 10
Очередной урок с обновлённого курса по сетевым технологиям от Андрея Созыкина. Коротко, доступно и наглядно дана база.

⇨ Best Docker Containers in 2024
Обзор Docker контейнеров для дома, которые автор посчитал полезными в повседневной жизни. Среди них Plex, Pi-Hole, Dashy, Uptime Kuma, Mailrise, Adguard Home и другие.

⇨ Мониторинг веб-сервера Angie с помощью Prometheus
Разбор мониторинга Angie через готовый экспортер Angie и их же дашборда для Grafana. Очень простая и лёгкая настройка. Я его уже тоже попробовал и написал заметку.

⇨ Web logs are super easy with - GoAccess
Обзор удобной и функциональной утилиты GoAccess для просмотра логов веб сервера через веб интерфейс. Утилита известная, я делал про неё заметку. Если не знакомы - посмотрите и возьмите на вооружение. Логи в ней смотреть - одно удовольствие.

⇨ Prometheus - Все Основы Мониторинга, как всё это работает и зачем он вообще нужен?
⇨ Prometheus - Как установить Prometheus Сервер на Линукс?
⇨ Prometheus - Как установить Node Exporter на Linux серверах?
На канале ADV-IT вышли три ролика на тему Prometheus. Автор снимает отличные ролики. Так как живёт в Канаде и работает там же, большинство его проектов в облаке AWS, так что последнее время его видео были для меня неактуальны, не смотрел. А эти уже в тему. Посмотрел с удовольствием. Там база для новичков.

⇨ Zstd (Zstandard): новый стандарт сжатия текста. Полный тест
Стандарт сжатия zstd можно использовать на веб серверах. В Angie есть готовый модуль, так что настроить очень просто. В видео автор рассматривает этот метод, его настройку и сравнивает с существующими популярными методами gzip и brotli для динамического сжатия. Zsdt показал очень хороший результат. По этому ролику сделаю отдельную заметку.

⇨ Trigkey S7 Pro Review runs VMware and Proxmox perfectly // Home Lab Server
Обзор производительного неттопа на базе AMD Ryzen 7. Сначала подумал, что какая-то дорогая экзотика, но на самом деле нет. Голый, без памяти и дисков, на али стоит в районе 20 т.р. Хорошее решение для тестового гипервизора домой.

⇨ QoS: управление сетевым трафиком, маркировка и приоритизация
Длинный вебинар про QOS в Микротике. Я его не слушал, пролистал. Знаю, что у этого автора всегда хорошие видео, так что если вам интересная данная тема, в том числе и подробная теория по ней, то рекомендую.

⇨ More POWER for my HomeLab! // Proxmox Cluster
Автор первый раз собрал свой кластер Proxmox и рассказал об этом. Добавил вторую ноду к основному серверу. Рассказал, как разбирался, как настраивал, как ошибки исправлял. Показал, как работает живая миграция без остановки VM. Буквально 3 пакета ping теряются во время перехода с одной ноды на другую.

#видео