бывают открытия от которых хочется орать

(в целом, для этой цели я и заводил канал — чтобы не орать в пустоту)

ребята из sakana ai выпустили революционную работу. они искали разные формы жизни в автономных играх-симуляциях типа конвеевской Игры Жизнь, и других, более сложных, например, Lenia или Particle Life. это такие игры в которых стартовая позиция пикселей "эволюционирует" через следование очень простым правилам в духе "если у пикселя меньше двух соседей, пиксель умирает. а если 2 или 3 - продолжает жить"

давно стоявший вопрос — какие самые сложные формы организации пикселей возможны в таких примитивных симуляциях, если пройдет достаточно много времени эволюции. раньше ответить на него было сложно, потому что при всей простоте они генерируют очень много данных, которые сложно было процедить вручную. к тому же самое интересное происходит на очень больших временах. и вот тут как раз и помог ИИ — они искал эти сложные формы автоматически с помощью трансформер-моделей

итог — нашли artificial life forms!
в симуляции Lenia обнаружили группы пикселей, похожие на вирусы, скопления нейронов и пепперони-пиццу 🙃 и сразу в нескольких симуляциях нашли нечто похожее на биологические клетки, бактерии и даже гусениц. а мы с каждой такой находкой все дальше от бога ...

еще раз ссылка. ставьте 🗿 если ничего не поняли и 🤯 если как и я шокированы. соберется 50 реакций — сделаю подробный разбор 👺

игра "Жизнь"

спасибо за активность под прошлым постом, разбору статьи — быть. а в качестве прогрева — короткое (?) интро для тех, кто поставил🗿

игра “Жизнь”, которую математик Конвей придумал в 1970, предлагает правила эволюции случайно расположенных на клетчатой доске "живых" и "мертвых" пикселей. игрок задает начальное состояние и далее в игре не участвует. позиции каждый ход обновляются автоматически согласно простым правилам:

1) если живая клетка имеет двух или трех живых соседей, она остаётся живой
2) во всех остальных живая случаях клетка умирает — от "перенаселения" если соседей больше 3 или "голода" если меньше 2
3) но если мертвая клетка имеет ровно трёх живых соседей, она переходит в живое состояние

элементарно. каждый шаг игры клетки меняют состояние, а ходы эти можно повторять бесконечно долго, наблюдая за развитием пиксельных паттернов, чем довольно много людей и занимаются уже 50 лет. надо сказать что Конвей специально искал правила, приводящие к разнообразным самовоспроизводящимся решениям, но даже он не подозревал, насколько богатым окажется мир внутри Жизни.

большинство начальных состояний распадаются, но на доске могут появится статичные фигуры: например, квадрат из 4 клеток (левая колонка на видео), осциллирующие — полоска из 3 клеток бесконечно долго вращается вокруг своей оси (центральная колонка), и движущиеся — например, "глайдер" из 5 клеток, который как бы летит по диагонали доски (правая колонка). дальше мир пополнился паровозом, светофором, малым, средним и большим космическими кораблями и прочими фигурами (некоторые на картинке)

состояния на доске могут распадаться и стабилизироваться, но могут ли они бесконечно развиваться? сам Конвей считал что нет, и даже предложил приз в $50 за обнаружение паттернов которые способны с каждым ходом неограниченно расти в размерах (или за строгое доказательство того что это невозможно). пока математик Госпер не обнаружил глайдерную пушку (положу в коменты). в 1970-1980х эти штуки уже называли artificial life forms (конечно, планочка была пониже, как и вычислительные мощности). после чего в игре нашли еще более сложные устойчивые фигуры, и до сих пор продолжают их находить (в тч в статье на разбор)

помимо невероятной математической красоты, "Жизнь" — это наглядная демонстрация

а) эмерджентности, когда очень простые правила с течением времени создают такие сложные фигуры и движения, что сложно поверить, насколько простые правилами их создают. знает ли малый космический корабль внутри игры, что его полет — иллюзия и простое следствие трех правил. или все-таки не просто иллюзия? могут ли скопления элементарных частиц придумывать себе какие-то высшие целеполагания за пределами исходных правил?

б) хаоса, поскольку в общем случае никто не может по начальным состояниям сказать, к чему оно приведет. и не важно насколько вы умный и какие у вас вычислительные мощности, просто нет

в) примитивной модели эволюция жизни на Земле, которая сама по себе тоже своего рода игра, в которой каждая живая клетка переходит в новые состояния исходя из намного более сложных правил и своего окружения. и все огромное разнообразие невероятно красивых форм жизни, которое часто приводится аргументом в пользу божественного создания этой самой жизни, на самом деле сводится к такой лаконичной системе. хорошо помню свой разговор с таксистом в Москве, который, узнав, что я физик, решил доказать мне, что бог существует словами "ну вот посмотри какое все вокруг красивое, разве мог кто-то кроме Бога это создать?". я в целом ничего не отрицаю и (надеюсь) никого не оскорбляю, но именно этот аргумент — несостоятельный. простые правила и большие времена эволюции творят чудеса без внешнего вмешательства.

Ссылки
1. здесь можно поиграть с начальными состояниями в классической реализации игры и, например, запустить свой космический корабль
2. а здесь не самая классическая реализация игры, но точно зато самая залипательная
3. а тут сам Джон Конвей сидя на кухне рассказывает об игре.
из комментов под видео узнал, что в 2020 он умер от ковида, RIP

#evolution #complexity #emergence

Artificial life forms в компьютерных симуляциях

в выходные закончил обещанный обзор статьи Sakana AI, который давно обещал сделать, прошу прощения! свободного времени мало, и становится только меньше. а текст вырос в лонгрид. пробно опубликовал его на хабре — иллюстрации тут сильно помогают. если вы там бываете, буду рад плюсам и комментариям. а ниже саммари для вас любимых, погнали 👽

Рисерчеры из Sakana AI, которые до этого наделали много шума со своим ИИ-ученым, автономно генерирующим правдоподобные научные статьи, исследуют разные области науки, где ИИ может дать заметный толчок. поиск искусcтвенных форм жизни в компьютерных симуляциях оказался одной из них. мотивация для всей области следующая

— изучать жизнь не только какой мы ее знаем, но и такой какой она могла бы быть
— ну и создать голема, пускай цифрового, потому что это давняя мечта любого алхимика

я до этого рассказывал про игру “Жизнь” Конвея, где поиск своеобразных форм жизни (глайдеров, осцилляторов и космических кораблей) происходит уже 54 года силами энтузиастов. при этом “Жизнь” — только частный случай подобных симуляций, есть более сложные, и намного менее исследованные: Boids, Lenia, ParticleLife, Neural Cellular Automata и другие, отличающимися правилами перехода пикселей из живых в мертвые и обратно, детали со ссылками статье

ключевая проблема в том, что с такими эволюционирующими хаотическими системами очень сложно предсказывать как они будут развиваться. и еще сложнее специально задать условия, которые приведут к интересным результатам, например зарождению той самой "жизни", как бы вы ее не определяли. при этом у каждой симуляции, заданной даже простыми правилами, есть десятки тысяч комбинаций параметров (соседи не в квадрате, а в круге, погибает не при 4 соседях а при 5, и так далее). то есть мало того, что нужно эти симуляции нужно просчитывать на тысячи шагов времени вперед, так нужно это делать для тысяч комбинаций входных параметров каждой из них, что превращает задачу поиска интересных форм эволюции в них сопоставимой по относительным масштабам поиску внеземного разума в открытом космосе

и вот тут на помощь пришел ИИ. Sakana взяли опен-сорсную модель CLIP (Contrastive Language–Image Pre-training) от openAI, которая была обучена для генерации текстовых описаний изображений в духе "на этой фотографии три человека стоят у барной стойки". это позволило исследователям программировать поиск "жизни" текстом, то есть буквально “ищи изображения похожие на клетки под микроскопом” или "нечто похожее на скопления нейронов". и она нашла!

такой подход авторы назвали ASAL — Automated Search for Artificial Life, и он позволил в каждой из упомянутых симуляций найти новые формы жизни, иногда удивительно похожие на биологические объекты — клетки, вирусы, бактерии, скопления нейронов. другое направлений исследований — поиск симуляций, где сложность форм жизни продолжает расти со временем неограниченно, прямо как в нашей с вами. здесь был предложен метод сведения этой сложности, которая очень плохо формализуема классическими алгоритмами, к численным метрика в пространстве эмбеддингов CLIP

при этом все описанные выше симуляции определяются очень простыми правилами двумерного мира и ничего не знают о биологии, поэтому случайное образование кластеров пикселей, сильно похожих на бактерии и вирусы — конечно может оказаться невероятным совпадением или артефактом постановки эксперимента (что искали в хаотичной системе, то и нашли), но также могут обозначить границы нового раздела науки, изучающего внутреннюю динамику этих микромиров, которые могут оказаться не менее богатыми, чем наш собственный (если поддерживать вычисления пару миллиардов лет)

мой полный текст: https://habr.com/ru/articles/879230/
ссылка на оригинальную статью и гитхаб

#AI #automated_research #evolution #complexity

внимание!

САМОЕ БОЛЬШОЕ ПРОСТОЕ ЧИСЛО (so far)

спасибо за внимание!

готовлю воркшоп для научных сотрудников МИСИС на тему "как использовать LLM в исследованиях"

чтобы втереться в доверие и показать, что я тоже своего рода ученый, откопал фотографию — с вами тоже поделюсь.

2015 год, Clean room Cavendish lab, Cambridge. очень усердно проводил эксперименты, данные по которым никогда не были опубликованы. но тогда я еще об этом не знаю и торчу в лабе каждый день до глубокой ночи

нужно просто подождать*

есть что-то очаровательное в том, что, спустя тысячи лет развития медицины, основная клиническая рекомендация при вирусной простуде — подождать **

конечно, желательно еще не перегреваться, обильно пить и сохранять покой, но это скорее про помощь телу сделать свою работу

похожее наблюдение касается сломанных костей. намного быстрее, чем задумано природой, они не заживут, хоть ты тресни (простите, этот каламбур сложно было удержать в себе)

в общем, как сильно не хотелось бы некоторые процессы ускорить, стоит уважать их характерное время. и если это время известно, запастить смирением и дать ему пройти

*терапевтический аутотренинг человека с высокой температурой и тяжелой формой невроза "лежать в кровати? интересно, а когда будем работать?"

**от некоторых вирусов, например, гриппа (ссылка), лекарства все же есть, но при болезни без осложнений их редко используют, плюс нужно быть уверенным что это именно грипп. а широкая категория препаратов от всех вирусов сразу существует как вид только в РФ, и с медициной это связано слабо (статья). с заживлением костей тоже есть прогресс, но и там все непросто, может быть у вас есть опыт?

домашние свечи опасны?!

пока далеко не ушел — про свечи. мне все чаще попадаются посты о вреде свечей и благовоний (раз, два), а вот вот эта дама и вовсе заявляет: "пользоваться ароматическими свечами — то же самое что сжечь в спальне банку бензина". это, конечно же, не так, но проговорить детали имеет смысл

напомню, что в аспирантуре занимался анализом состава воздуха, а потом еще два года делал стартап в облости экологического мониторинга, так что немного об этом знаю

— парафин действительно добывают из нефти, а состав свечей слабо контролируется, так что выделение при горении формальдегида и толуола (VOC) вполне вероятно. свечной дым это по сути мелкодисперсная сажа (PM2.5) и увеличение в воздухе концентрации этого добра при горении свечей известный факт
— но штука в том, что все эти соединения попадают в воздух в крайне низких концентрациях, которые проходят по всем строгим медицинским рекомендациям. вот здесь их аккуратно измерили. при long exposure возможны скрытые риски (их сложно исследовать), но концепт умеренности в целом полезная штука
— уровень PM2.5 в помещении намного больше зависит от близости к крупным дорогам и среднему уровню в городе. единственный способ его уменьшить — хорошая вентиляция с HEPA фильтрами (нет, обычный кондиционер не помогает)
— уровень летучей органики (VOC), необходимой для образования смога, сильнее всего связан со степенью очистки выхлопных газов или попросту с возрастом автомобилей — старые справляются хуже. а если с них еще и катализаторы снимают, то дело дрянь (привет, Ереван)
— так что свечами ситуацию особенно не изменить. и беспокоиться стоит только если у вас чувствительные слизистые. в таком случае выбирайте свечи от известных производителей или из натурального воска — состав будет чище
— pro tip — свечи дымят меньше, если им вовремя подрезать фитиль

в общем риски устроить пожар все еще кратно выше всех остальных. так что следите за занавесками, не забывайте проветривать помещение и будет вам счастье с нежно подрагивающей тенью от фитиля.

а от тех, кто советует отказаться от свечей, поскорее отписывайтесь, они вам скоро начнут рассказывать про вред парфюма. кстати, пока писал нашел адекватное и подробное видео (на англ)

#air

блоги — публичные репозитории мыслей

удобно, когда некоторое их количество можно прочитать сразу после знакомства, особенно если это знакомство в интернете. такая практика думания вслух и сейчас мимо вас пролетела одна из них

по записанным мыслям человека можно даже оцифровать. то есть это еще и скромная, но все же заявка на вечность. если не в блог, то записывайте свои хотя бы в дневник, главное записывайте

и по этой причине я никогда не использую LLM, когда пишу тут — иначе репозиторий засоряется мыслями чужими. так что если увидели глупость — знайте, это моя собственная

как я использую ИИ — ассистенты на звонках

один из моих любимейших кейсов применения ЛЛМ в жизни — это цифровые ассистенты, которые ходят на все мои звонки, записывают их, транскрибируют и затем присылают мне и другим участникам саммари, составленные по предварительно заготовленным промптам. например, извлекая action steps, раскладывая разговор по обсуждаемым темам или отдельным участникам.

во время важных разговоров я всегда делаю заметки издавая заметно стуча по клавишам, чем наверняка раздражал многих собеседников. и как же здорово, что теперь я могу расслабиться зная, что ассистент запишет все что нужно, и я смогу вернуться к записи когда мне понадобится что-то вспомнить. в общем еще один модуль расширения человеческой памяти, такие технологии, всего за $20-30 в месяц

я пользуюсь сервисом tl;dv — у них самый классный продукт вокруг этой довольно очевидной идеи, и им просто очень приятно пользоваться, вплоть до tone of voice фаундеров в маркетинговых рассылках. но вообще таких сервисов уже с десяток, и зум с гугл митс уже релизят что-то там свое (кривое).

pro tip — для tl;dv можно настроить интеграцию через no-code платформу zapier, чтобы все ваши звонки сразу переносились в notion (сделал себе такое за один вечер), или пересылались в закрытый телеграм канал. в компании, с которой я сейчас работаю, есть канал со всеми звонками всех сотрудников — даже если вас не приглашали, можно наверстать контекст за пару минут, что добавляет прозрачности всем процессам и упрощает синхронизацию между людьми, короче, круто

при этом забавно наблюдать как быстро меняются человеческие привычки:
— 10 лет назад — предложение провести важную встречу через скайп вызывает недоумение
— 3 года назад вы напрягаетесь, когда вас спрашивают "можно ли записать звонок на видео"
— сегодня на большинстве звонков, куда я хожу, есть 1-2 ИИ-ассистента, а иногда их больше, чем живых людей. а записи транслируются не только самому сервису, но и ЛЛМ-провайдерам, которые эти сервисы используют
— вы находитесь здесь —

Quist updates или "куда пропал"

большую часть жизни я как физик занимался академическим рисерчем полупроводников, а с тех пор как перешел в дивный новый мир ИИ стартапов, стараюсь применить языковые модели к задачам этого самого рисерча. мы помогаем исследователям и инженерам искать данные в бесконечном потоке патентов и научных публикаций. и если без нас могли прочитать 1-10 статей с день, то с нами — 100-1000 и предела тому нет. не могу похвастаться, что я нашел product market fit, но есть ощущение, будто наконец нащупал очень такой хороший problem solution fit, правда в совсем иной конфигурации. по этому поводу работы в жизни стало кратно больше, про нее напишу отдельно, а пока короткий обзор дорогих уроков извлеченных за это время

1. стартаперы ищут good problem to solve, но даже самые большие проблемы могут оказаться плохой возможностью, если в их решении нет срочности. мы верно угадали широкую проблему: "поиск информации в научных статьях долгий и неэффективный" — кто угодно хотел бы сразу узнавать о новых технологиях,если они влияют на их ключевые процессы. но часто пауза в день, неделю, а иногда и в месяц — не делает большой разницы, потому что помимо того, чтобы первым узнать, нужно первым протестировать, освоить, внедрить, а иногда и произвести. на такой дистанции преимущество скорости знания, выравнивается скоростью менеджмента и логистики, что очень сильно било по нашему selling point "мы делаем knowledge work быстрее чем люди". нужна была точка, где это быстрее явным образом конвертируется в чью-то прибыль

2. делать B2C продукт в среднем очень плохая идея. мы изначально выпускали свой app.quist.ai как живое демо для B2B клиентов и на тот момент давали результаты по качеству не хуже perplexity, потому что все использовали одни и те же технологии. при этом они к тому моменту подняли кучу денег и конкуренция напрямую имела мало смысла. а к началу 2025 openAI, Google и Anthropic выпустили своих deep research агентов, и проблемы начались уже и у самого perplexity. единственная стратегия без миллионных инвестиций — искать небольшие ниши в которых у вас есть секретное знание недоступное конкурентам. к тому же, чтобы делать B2C нужно иметь подходящий майндсет — и по крайней мере хотеть продавать миллионы небольших штук по 10$. я про себя понял, что мне понятнее и интереснее делать штучный товар

3. академики любого толка — плохая целевая аудитория для стартапа (но по прежнему мои любимые в мире люди). если ваши продажи зависят от академиков, вы что-то делаете не так. у них либо нет денег, либо очень долгие согласования, либо "да мы такое сами можем сделать", либо все сразу. это при том что каждый кому я питчил наш сервис говорил, что это нужно и это сильно помогло бы ему в работе. только из-за п.1 это все не конвертировалось в деньги, а стало быть не помогало нам выжить

4. дальше мы сфокусировались на R&D industry и ученых внутри коммерческих компаний. основная сложность была в первом контакте. на 100 отправленных писем мы получали 5-10 ответов. это в целом средние конверсии, но они сильно действует на нервы. если вам не действуют, давайте дружить :) в идеале нужно знать людей принимающих решения в этих компаниях и соответствовать их представлениям о том с кем можно иметь дело. но даже помимо этого согласование B2B договоров длительностью в 6-12 месяцев — тоже реальность. поэтому если ваш runway короче, переговоры можно и не начинать

5. если продавать экспертам «рост производительности» любого рода, они волнуются что твой продукт пришел их заменить. вам не скажут об этом прямо, но либо не будут помогать, либо даже станут активно мешать. в таких ситуациях продажи возможны либо через очень аккуратную коммуникацию, либо «сверху вниз» через руководство, которое в свою очередь волнуется о том что "если мы как компания не внедрим ИИ в процессы, нас сожрут конкуренты, которые внедрили". между этими двумя состояниями приходится ловко балансировать, такой FOMO-маркетинг

(продолжение внизу)

#startup

Quist updates или "куда пропал", ч.2

(начало выше)

6. другая проблема нашего сервиса была в том, чтение научных статей и активное их обдумывание — это малая часть рабочего процесса ученых и инженеров. при этом часть едва ли не самая приятная, что дополнительно уменьшает мотивацию эту часть автоматизировать. так уж вышло что ии революция началась не там где ждали и в первую очередь автоматизирует наиболее творческие специальности, пока ручной труд в наибольшей безопасности.

более того, чтений статей по сути есть разновидность мышления. эксперты опасаются, что полностью делегируя этот процесс машинам, можно упустить детали на короткой дистанции и потерять хватку на длинной. и опасаются не напрасно (пост). то есть идеальный юз кейс для нашего продукта должен был не помогать ученым, а делать какую-то работу которую они не успевают / не хотят / не умеют делать. что делало п.5 еще более валидным

7. технари склонны переоценивать важность продукта, а иногда и красоты кода на котором этот продукт работает, но по факту успех стартапа сегодня сильнее определяется тем, как вы продаете, особенно в B2B, а мы продавали плохо 🙃 это в целом непросто, чтобы продавать большой R&D компаний нужно иметь хорошие связи и понимать внутреннюю кухню, чего нам не хватало. при этом тут открывается куча возможностей для сильных специалистов из маркетинга и продаж в этих областях — построить технологические продукты сегодня становится все проще, а вот продать все сложнее

8. стартап это сложно и нужно далеко не всем, большинство ждет неудача или по крайней мере обманутые ожидания. мы все слышали об этом тысячи раз, но в реальности слишком легко поверить в то что именно тебе повезет. а если вы разработчик, особенно в ИИ, то стартап — еще и далеко не самое выгодное занятие (см. раз, два). убедитесь, что вы с кофаундерами готовы работать до результата с поправкой на реалистичные таймлайны (2-5 лет) и статистику (90+% провалов). и если кажется, что все-таки готовы и вам весело в дороге — сможете пивотиться пока не нащупаете "то самое". мы оказались не готовы

9. очень сложно оптимизировать все метрики сразу, хотя и приходится. поэтому по возможности выделите ключевые лично для вас (число сделок, MRR, ваш личный доход от проекта) и установите дедлайны по ним дедлайны, чтобы в нужный момент трезво посмотреть на ситуацию и сказать " я молодец" или "было здорово, но надо что-то менять". иначе можно на несколько лет провалиться в петлю, где удача она вот совсем близко, за поворотом

10. при этом несмотря на все оговорки, для меня лично стартапы это самое интересное что вообще можно делать. в них ощущается большое влияние каждого в отдельности на результат работы всей команды, обучение на скорости х10, абсолютный минимум бюрократии и новые вызовы каждый день. если вы толерантны к переменам и умеете быстро учиться, только ищите стартапы более поздних стадий развития

11. во время поиска product-market fit, фандрейзинга и продаж, которые мне лично давались совсем нелегко, я тратил на инжиниринг в лучшем случае 40% своего рабочего времени. сейчас трачу 100+ % и получаю от этого огромное удовольствие сравнимое с зависанием в лаборатории до глубокой ночи. заранее я думал об этом не очень много, но в идеале нужно разобраться с тем, что приносить вам больше всего удовольствия и соответствует долгосрочному плану развития

12. если вы делаете что-то классное, не забывайте рассказывать об этом в интернете. даже если это задротский блог с нерегулярными обновлениями, это приносит свои плоды :)

итого к началу года у меня был с десяток случайных и довольно непохожих друг на друга клиентов, заканчивались деньги и оставалось всего 3 области, где я видел гипотетическую возможность обойти описанные выше сложности: полупроводники, биотех и инвестиции. о том, куда же меня вынесло течение, читайте в следующих сериях. а в коментах пишите о чем хотелось бы узнать подробнее

#startup

а если вы ллм-инженер, пришлите cv в личку (продам гараж)