Давайте немного поговорим про мотивацию.

Работа занимает примерно половину нашей жизни. Неудивительно, что взлеты и падения на работе ощутимо влияют на наше настроение. Успехи окрыляют, неудачи расстраивают. Так бывает со всеми нами.

Если основной источник счастья и удовлетворения — только работа, то любые неудачи на работе будут сильно влиять на мотивацию.

Своим менти я советую "не класть все яйца в одну корзину" и поискать для себя дополнительные источники, которые приносят удовлетворение и счастье.

Мотивацию нужно черпать не только в работе, но и из других занятий. Например, из хобби, встреч с друзьями или прогулок по парку.

Это добавит вам энергии для преодоления непростого рабочего периода.

Например, когда я приходил на работу после утренних тренировок по теннису, то чувствовал себя молодцом еще до начала работы :)

#карьера

Около десяти лет назад, чтобы проанализировать логи в Яндексе, необходимо было подключиться к специальному серверу с архивами access-логов и запустить скрипт на bash с использованием команды zgrep.

Если же требовалось анализировать логи за несколько дней, это превращалось в длительное приключение.

Однако все изменилось с появлением YT - собственной MapReduce-системы, способной обрабатывать огромные объемы данных. Это не просто звучит рекламно, YT действительно впечатляет ;)

Вычислительные кластера в YT носят имена знаменитых математиков и ученых, таких как Hans Hahn. Это проявление уважения к великим умам человечества - очень по-яндексовому :)

В прошлом году произошло значимое событие, и YT стал доступен в открытом доступе под именем YTsaurus. Теперь любой желающий может запустить свой локальный кластер с использованием того же docker-контейнера.

Не буду перечислять все особенности и преимущества YTsaurus, легче прочитать на официальном сайте.

На мой взгляд, YT предоставил тот самый MapReduce с "человеческим лицом", который был нам так нужен. Теперь YT используют разработчики, тестировщики, аналитики, менеджеры, дизайнеры, саппорт и так далее.

Перечисляя столько профессий-клиентов платформы YT, я понял, что проще назвать тех, кто не использует YT. Может быть, только хозяюшки?

#инфраструктура

В прошлом посте я упустил важную особенность, которая сделала YT настоящим хитом в Яндексе. Это Yandex Query Language (YQL) — декларативный и SQL-подобный язык запросов.

В далеком 2016 году Иван Блинков опубликовал статью на Хабре с подробными объяснениями предпосылок возникновения и принципов построения YQL. На скриншотах даже виден кластер Hahn ;)

Типы данных, синтаксис и встроенные функции YQL перечислены в официальной документации. Однако я уверен, что читатели с опытом SQL смогут интуитивно написать правильный запрос, используя веб-редактор YQL.

Именно этот веб-интерфейс сделал возможным использование всей мощи YT даже коллегам-непрограммистам. Фактически, веб-интерфейс YQL выступает в роли IDE и подсвечивает ошибки еще до запуска запроса.

Большой респект и +100500 в карму разработчикам YT за этот функционал.

#аналитика

В Москве и Санкт-Петербурге расположены музеи Яндекса со старой вычислительной техникой и игровыми автоматами. Например, там можно попробовать умножить числа с помощью арифмометра Феликса или поиграть в Sony Playstation 1.

В Яндекс Музеях также проводят экскурсии, мастер-классы и выставки.

Сейчас проходит выставка с самым мимимишным беспилотником — роботом-доставщиком Яндекса. Настоятельно рекомендую посетить!

Робот успешно трудится в качестве курьера, но иногда попадает в "переделки", и прохожие помогают ему выбираться то из сугробов, то из глубоких луж :)

На выставке можно увидеть несколько поколений роботов, изучить их комплектующие и посмотреть на себя «глазами» робота — через его лидар!

На фото за ровером установлен экран. На нем можно рассмотреть небольшую красную зону. Так воспринимал меня ровер, когда я его фотографировал :)

P.S. Небольшой фотоотчет оставлю в комментариях.

#яндекс #новости

В докладе Алексея Штоколова на YaTalks наткнулся на интересную метафору: "Тимлид — это операционная система по Таненбауму".

Книга Операционные системы Эндрю Таненбаума — фундаментальный труд про принципы работы операционных систем (ОС).

ОС выполняет управление ресурсами и обеспечивает абстракции. Аналогично, тимлид управляет человеческими ресурсами команды и предоставляет две абстракции.

Для компании, тимлид представляет команду как работающую единицу, указывая на задачи, которые она может или не может решать. Команда принимается как "черный ящик" с определенными входами и выходами.

Тимлид также переводит требования и язык смежников и бизнеса на понятный технический язык для команды. Это вторая абстракция.

Метафоры как эта помогают объяснить мою работу, и я с удовольствием добавлю ее в свою коллекцию :)

#руководство #цитатник

В наших датацентрах находятся десятки тысяч серверов и миллионы жёстких дисков.

Неожиданные отключения электричества могут вызвать сбои в работе серверов и жёстких дисков. Чтобы предотвратить проблемы, используем ИБП для поддержания работы серверов до запуска дизельных генераторов — это защищает от кратковременных отключений электроэнергии.

У наших инженеров возникла необходимость расширить датацентр и возвести дополнительное помещение для новых серверов. Как повлияют строительные работы на "здоровье" серверов?

Написали производителям жестких дисков вопрос: "А как отреагируют жесткие диски на вибрацию от забивания сваи?".

Производители в недоумении ответили, что никогда такого не замеряли и не знают, что произойдет.

Наши инженеры инициировали тестирование: оснастили сервера мониторингами и начали забивать сваи сначала на расстоянии, затем ближе. Когда я читал тикет с этим тестированием, то в очередной раз осознал, какую разную работу выполняют инженеры в Яндексе.

Кстати, результаты тестов в итоге показали, что вибрация от строительства не угрожает жёстким дискам, что позволило нам начать строительство нового модуля датацентра.

#байки

В прошлом году я делился картой развития разработчиков Developer Roadmaps, созданной и развиваемой сообществом разработчиков. Давайте добавим в "копилку" еще парочку карт.

Яндекс проанализировал разработческие запросы и собрал две интерактивные карты с хард скиллами:
- Карта навыков ML-разработчиков
- Карта навыков фронтендеров

Возможно, что эта статистика поможет вам получить какие-то инсайты или хотя бы взглянуть на то, чем живут ваши коллеги по цеху.

Если у вас в закладках есть какие-то подобные карты или роадмапы, поделитесь, пожалуйста, в комментариях.

Такие карты служат своего рода компасом для направления своей энергии на изучение востребованных технологий и навыков. Мы не можем охватить все сразу, т.к. количество наших таймкойнов ограничено.

#карьера

Мы постоянно проводим a/b эксперименты для пошагового улучшения наших сервисов.

Один из таких экспериментов был про перенос панели с результами поиска из правой части интерфейса:
- провели a/b эксперимент с подсчетом метрик
- перенесли панель налево и запустили обратный эксперимент
- после окончания обратного эксперимента убедились, что все ОК

Через некоторое время нам приходит эмоциональное письмо от уставшего пользователя:
"Ребята, ну сколько можно? Я привык, что результаты поиска показываются справа. В какой-то день захожу в карты и вижу результаты слева. Стал привыкать. Через пару недель результаты опять перепрыгнули направо. Я вздохнул и стал опять привыкать. А потом результаты опять перенеслись влево! Вы уж определитесь, пожалуйста!"

Наш бедный пользователь попал во все эксперименты, включая обратный. Безжалостная формула по выбору пользователей не учла этого факта.

Дорогой пользователь, прости нас, пожалуйста!

#байки

Думаю, что все из вас слышали о принципе Парето с известным правилом 80/20: "80% результатов приходятся на 20% усилий". Еще я слышал вариант, что 20% сотрудников дают 80% результата.

Около 10 лет назад мы даже решили проверить его и посчитали коммиты в общий репозиторий. В итоге оказалось, что мой руководитель коммитил больше, чем я и пара моих коллег вместе взятых. Мы еще тогда стали шутить, что может быть нас проще уволить, чтобы мы не мешали нашему руководителю развивать проект :)

Еще один известный всем принцип Мерфи: "Если что-то может пойти не так, то, скорее всего, так и произойдет". Тут без комментариев, с этим принципом сталкивался каждый из нас и не один раз.

Менее известный, но также очень жизненный — принцип Паркинсона: "Работа растягивается на тот объем времени, который для нее отведен". Каждый из нас хоть раз прокрастинировал и откладывал выполнение задачи вплоть до дедлайна. И уже в самый последний момент активизировался и доводил ее до конца. Такой подход еще очень часто практикуют студенты ;)

От wwax (той самой, что поделилась чеклистом запуска нового проекта) я узнал еще о принципе Питера: "В иерархической системе каждый индивидуум имеет тенденцию подняться до уровня своей некомпетентности".

Когда мне нужно было купить утюг, то мне пришлось стать "экспертом по утюгам" и прочитать тонну обзоров. После этого я пошел в магазин, чтобы увидеть выбранную модель. В итоге выяснилось, что я знаю про утюги больше, чем консультанты в этом же магазине. И куда же делись все компетентные сотрудники? Выросли! Стали менеджерами магазинов или даже еще выше.

Эти все принципы заставляют лишний раз задуматься про свою эффективность. Продолжаю ли я развиваться? Или уже уперся в свой потолок? Я считаю, что еще пока не достиг предела.

И помогает мне в этом принцип Тармолова: обучаться новому и расширять кругозор каждый год. Конечно, этот принцип не так хорошо известен, как предыдущие, но может и станет таковым :)

А какие еще интересные принципы вы знаете и используете в своей жизни?

#карьера

Миша Трошев, мой коллега, поделился своими мыслями о настойчивости в работе. Осторожно, в его тексте присутствуют нецензурные слова! ;)

Хочу рассказать небольшую историю о настойчивости и терпении. Во времена debian-пакетов мы пользовались специальным сервисом Кондуктор для выкладки сервисов.

Я рассказывал о двух debian-пакетах для каждого сервиса:
1. "статика" для отображения в браузере;
2. "динамика" с серверным кодом.
Необходимо было соблюдать порядок выкладки для получения работающего сервиса: вначале "статика", потом "динамика".

Этот процесс нужно было постоянно контролировать вручную, и это утомляло. Я попросил разработчика сервиса Кондуктор поддержать возможность для того, чтобы автоматически выкладывать пакет с "динамикой" сразу после пакета со "статикой".

Диалог был примерно таким:
— А можешь поддержать последовательную выкладку пакетов?
— Прости, но у меня нет времени :(
— Понимаю. Но это поможет половине Яндекса...
(объясняю, почему это круто и как мы осчастливим много разработчиков)
— Хм. Я подумаю на досуге, можно ли это сделать.
— Когда тебе напомнить?
— Давай через месяц.
(прошел месяц)
— Удалось подумать?
— Нет, не было времени.
— Ничего страшного. Понимаю, что у тебя плотный график. Когда у тебя будет время?
— Месяца через два.
(прошло два месяца)
— Удалось найти время?
— Да, есть идея. Но нужно время, чтобы накидать прототип.
— Класс! А когда получится?
— Думаю, что через неделю.
(прошла неделя)
(еще две)
(месяц)
(полгода)
(год)
(я не сдавался)
(разработчик стал извиняться при встрече со мной в коридоре)
(разработчик не выдержал и все сделал)

В итоге через полтора года я добился желаемого. Но истинная причина была в том, что разработчик сам захотел исполнить свое обещание и уже не мог иначе. И да, я — страшно терпелив! :)

Мораль же проста: если вам что-то нужно и вы верите в это, то стойте на своем и не сдавайтесь при первом же отказе.

#байки

Дайджест 01.01.2024—31.03.2024
Раз в квартал я публикую дайджесты для быстрого доступа к старым постам.

Для удобства посты разбиты по категориям и отсортированы по алфавиту.

Аналитика
- Yandex Query Language

Байки
- Жалоба пользователя на прыгающую панель
- Как инженеры сваи забивали
- Про настойчивость и терпение

Инфраструктура
- YT — яндексовый MapReduce

Карьера
- Эмоциональный банковский счет
- Диверсификация счастья
- Почему карьерный рост такой непонятный
- Как подводить итоги года и ставить достижимые цели?
- Карты навыков ML-разработчиков и фронтендеров
- Принцип Парето, Мерфи, Паркинсона и Питера

Книги
- Рей Далио. Принципы

Новости
- Выставка роверов в Яндекс Музее

Руководство
- Тимлид — операционная система по Таненбауму

Цитатник
- Hairy Back Syndrome

Яндекс
- Выставка роверов в Яндекс Музее

#дайджесты

Вчера мы запустили в Яндекс Картах — персонализированный режим «Идеи». Если вы из Екатеринбурга, Москвы, Новосибирска или Петербурга, то скорее открывайте мобильное приложение и пробуйте этот новый режим!

Внутри 16 ML моделей (!!!) по поиску заведений и учету предпочтений пользователей. И, конечно, YandexGPT для генерации описания мест на основе отзывов.

Пробуйте, пишите фидбек и помогите нам стать лучше!

#новости

Не каждый день получаешь письмо с края света края Земли. Это письмо, на минуточку, преодолело тысячи километров до канцелярии Яндекса и в конечном итоге до меня.

Воистину маленькое чудо :)

#яндекс

Исторически мы с женой используем Flickr для хранения фотографий и накопили значительный семейный альбом, который очень не хочется потерять по воле случая.

Поэтому задумались, куда и как лучше зеркалировать фотографии для пущей сохранности. В рабочих проектах мы используем облачный S3 для хранения статических файлов. Один хороший SRE подсказал, что этот способ подойдет и для хранения фотографий — дешево и сердито.

С хранилищем определились. Теперь нужно понять, как перегнать данные из Flickr в S3. К слову, про "перегонку данных". А вы знали, что Amazon в течение нескольких лет предоставлял специальный сервис по миграции данных в датацентры Amazon с помощью... грузовиков? Но в итоге сервис не взлетел, вернее, не поехал :)

Мне не нужно перемещать петабайты данных, поэтому небольшой скриптик вполне подойдет. Высокоуровнево мне нужно сделать три шага:
1. Забрать данные через Flickr SDK.
2. Залить полученные данные в S3 Яндекс Облака через AWS SDK.
3. Написать небольшой скрипт с необходимой логикой.

После небольшой отладки скрипт заработал на моем ноутбуке. Но это только полдела. Необходимо, чтобы скрипт работал по расписанию без лишних затрат моей ментальной энергии.

Вот тут и пригодился мой NAS-сервер Synology. Обычно я его использую как хранилище для фильмов, но сервер способен решить и более интересные задачки:
1. С помощью docker-контейнера настроил окружение для своего скрипта.
2. Далее через встроенный механизм Task Scheduler настроил ежедневный запуск своего скрипта вот такой командой:

docker exec flickr-backup /bin/bash -c "SECRETS_PATH=/etc/flickr-backup/secrets.json node /usr/local/flickr-backup/index.js"

Не зря Рей Далио советует всем учить программирование. Программирование расширяет ваши возможности и позволяет эффективно решить прикладные задачи не только для рабочих, но и для личных нужд. Например, забекапить свои личные фотографии ;)

#разработка

Мне тут коллеги сказали, что я очень люблю "кружочки", т.к. при объяснении чего-либо часто рисую схемки — и кружочки, в частности.

На одной из встреч отдела я рассказывал о своем отношении к работе и о том, как неидеальную работу превращать в идеальную.

Тогда я поделился концепцией Стивена Кови про два кружочка:
- Красный кружочек "Круг забот" — то, что нас беспокоит, но повлиять на это мы не можем. Например, погода за окном.
- Зеленый кружочек "Круг влияния" — то, на что мы можем повлиять. Например, мигающая лампочка в подъезде.

Совет простой: растить зеленый кружочек и уменьшать красный :)

Не тратьте время и силы на то, что за пределами вашего круга влияния. Лучше сосредоточьтесь на том, что вы действительно можете изменить. И действуйте.

#карьера

Я уже рассказывал о том, что каждый сотрудник должен помогать бизнесу расти. Обычно компания часть своей заработанной прибыли отправляет на свое развитие и рост. Если компания остановится в росте, то погибнет в конкурентной борьбе.

Бизнес — агрессивная среда, напоминающая игру Agar.io, в которой кружочки борются за выживание. Бизнесы также объединяются, разделяются и "поедают" друг друга.

Соответственно, у бизнеса, как у организма, всего два пути:
1. Расширяться на своем локальном рынке.
2. Выходить на новые рынки.

Одна картинка стоит тысячу слов, поэтому делюсь с вами еще одной наглядной иллюстрацией вышеописанных слов. Опять кружочки :)

#карьера

Я часто повторяю один карьерный совет — уменьшайте, а не добавляйте головной боли вашему руководителю.

Обычно руководителям приходится держать в голове широкий контекст, и какие-то направления могут временно "проваливаться". По законам жанра, в момент максимальной загрузки руководителя к нему подходит сотрудник и спрашивает: "Ну, есть у нас что-то интересное поделать? А то я что-то заскучал". Джекпот! Плюс еще одна задачка для руководителя!

Многие руководители, и я среди их числа, желают совершенно иного. Например, когда сотрудник самостоятельно находит то, что выпало из поля зрения руководителя, и предлагает свою помощь. Тем самым прикрывает тыл своего руководителя и дает ему сосредоточиться на других важных вещах.

Или же приходит в качестве волонтера помочь ускорить ту самую медленную сборку проекта, от которой страдает вся команда. Сотрудник сам превращает проблему в амбициозную задачу или даже челлендж, а заодно и убирает часть головной боли руководителя.

Руководители всегда ценят таких сотрудников и стараются находить для них возможности для дальнейшего роста. Ведь нужна изрядная доля смелости, чтобы ввязаться в задачу со многими неизвестными. Если бы все было просто, ее бы уже давно сделали.

А если не знаете, что мучает вашего руководителя, то можно просто к нему прийти и задать вопрос: "Чем я могу тебе помочь? Есть ли что-то, до чего не доходят руки, но очень хотелось бы решить?" ;)

#менторство #карьера

Проходя по коридору, я услышал разговор двух коллег:
— У меня слабоумие.
— Понятно. А я думаю, как мне попасть в пирожочки.

И с моими коллегами все в порядке. Просто один сказал, что у него следующая встреча в переговорке "Слабоумие и отвага", а другой искал переговорку "Пирожочки".

Но принцип именования в Яндексе всегда был и остается шедевральным :)

#яндекс

Я периодически пишу про разработческую инфраструктуру. Все такие посты можно найти по тегу #инфраструктура.

Но инфраструктура может быть разной. В этом посте хочу вам рассказать, как у меня была устроена небольшая "финансовая инфраструктура" — автоплатежи за коммуналку с помощью дохода от облигаций.

Я назвал свой подход "финансовой водонапорной башней". В основе подхода — очень простая идея, но даже мой финансовый ментор удивился, когда узнал, как у меня все работает.

Уже несколько раз разным людям рассказывал, как у меня все было устроено, поэтому решил задокументировать, чтобы давать ссылку на этот пост :)

📖 Прочитать, что же такое финансовая водонапорная башня

#инфраструктура #финансы