итоги года для Quist

TLDR: мы не умерли, но мы уже не те, что раньше — в новом составе занимаемся новыми штуками

напомню, что началось все ~1.5 года назад с идеи супер-поиска информации в научных статьях на ЛЛМ. я тогда только только вывалился из академии, чатГПТ начинал шествие за умы и кошельки, про perplexity никто включая меня не знал, и было решено пилить стартап для рисерчеров, чтобы сделать процесс поиска данных более эффективным

я решал свою собственную боль и, вероятно, был слишком очарован юз-кейсом, когда ЛЛМ читают за вас сумасшедшие объемы информации и находят все иголки в тысяче стогов сена. к тому же рисерчеры, кому я показывал первые прототипы, были в восторге — мы сделали 5 бесплатных пилотов, но дальше поняли, что с учеными и небольшими коллективами экономика не сходится — данных у них много, а вот денег не очень (коллеги, ничего личного) и что самое важное — они редко куда-то спешат в своем поиске. после этого мы начали искать новые юз-кейсы

точнее сходится экономика только для больших заказчиков, например целых университетов и здесь давно намечается интересный проект, но мы уже год согласовываем ТЗ со всеми decision makers, и в какой-то момент казалось, что до подписания не доживем

с тех пор мы:

— запустили апп с урезанным функционалом для b2c, собрали первую 1000 пользователей
— сделали тул для консультантов чтобы собирать информацию по рынкам и конкурентам
— тул для инвесторов в технологические проекты, чтобы оценить перспективность той или иной технологии
— тул для сбора информации по клиническим испытаниям новых лекарств FDA
— автоматизацию поиска тендеров для большого маркетплейса. удивительным образом задача оказалось технологически близко к нашему основному юз-кейсу, в итоге сложился крутой проект который сейчас ближе всего к промышленной интеграции, весной раскатываем наш ко-пайлот на целый отдел продаж
— и вот под самый конец года запартнерились с бодрым стартапом который занимается поиском новых лекарств с помощью ИИ, причем с задачей очень похожей на то, с чего мы начинали — поиск данных в статьях. по сути это составление с помощью нашего ИИ датасетов для их ИИ, весело
— а прямо сейчас копаем в сторону работы с патентами. технологически опять таки близкая, но по бизнесу все намного интереснее. рынок американских патентных поверенных, которые чарджат поминутно (!) доводя цену защиты каждого изобретения до ~$10к надо дизраптить безжалостно

в общем много чему научились и много всего сделали, поэтому главный итог года — бесценный опыт 🥲 а product market fit продолжаем искать

в новом году желаю и себе, и вам чаще фокусировать силы в одной точке. где фокус, там и растет

#startup

бывают открытия от которых хочется орать

(в целом, для этой цели я и заводил канал — чтобы не орать в пустоту)

ребята из sakana ai выпустили революционную работу. они искали разные формы жизни в автономных играх-симуляциях типа конвеевской Игры Жизнь, и других, более сложных, например, Lenia или Particle Life. это такие игры в которых стартовая позиция пикселей "эволюционирует" через следование очень простым правилам в духе "если у пикселя меньше двух соседей, пиксель умирает. а если 2 или 3 - продолжает жить"

давно стоявший вопрос — какие самые сложные формы организации пикселей возможны в таких примитивных симуляциях, если пройдет достаточно много времени эволюции. раньше ответить на него было сложно, потому что при всей простоте они генерируют очень много данных, которые сложно было процедить вручную. к тому же самое интересное происходит на очень больших временах. и вот тут как раз и помог ИИ — они искал эти сложные формы автоматически с помощью трансформер-моделей

итог — нашли artificial life forms!
в симуляции Lenia обнаружили группы пикселей, похожие на вирусы, скопления нейронов и пепперони-пиццу 🙃 и сразу в нескольких симуляциях нашли нечто похожее на биологические клетки, бактерии и даже гусениц. а мы с каждой такой находкой все дальше от бога ...

еще раз ссылка. ставьте 🗿 если ничего не поняли и 🤯 если как и я шокированы. соберется 50 реакций — сделаю подробный разбор 👺

игра "Жизнь"

спасибо за активность под прошлым постом, разбору статьи — быть. а в качестве прогрева — короткое (?) интро для тех, кто поставил🗿

игра “Жизнь”, которую математик Конвей придумал в 1970, предлагает правила эволюции случайно расположенных на клетчатой доске "живых" и "мертвых" пикселей. игрок задает начальное состояние и далее в игре не участвует. позиции каждый ход обновляются автоматически согласно простым правилам:

1) если живая клетка имеет двух или трех живых соседей, она остаётся живой
2) во всех остальных живая случаях клетка умирает — от "перенаселения" если соседей больше 3 или "голода" если меньше 2
3) но если мертвая клетка имеет ровно трёх живых соседей, она переходит в живое состояние

элементарно. каждый шаг игры клетки меняют состояние, а ходы эти можно повторять бесконечно долго, наблюдая за развитием пиксельных паттернов, чем довольно много людей и занимаются уже 50 лет. надо сказать что Конвей специально искал правила, приводящие к разнообразным самовоспроизводящимся решениям, но даже он не подозревал, насколько богатым окажется мир внутри Жизни.

большинство начальных состояний распадаются, но на доске могут появится статичные фигуры: например, квадрат из 4 клеток (левая колонка на видео), осциллирующие — полоска из 3 клеток бесконечно долго вращается вокруг своей оси (центральная колонка), и движущиеся — например, "глайдер" из 5 клеток, который как бы летит по диагонали доски (правая колонка). дальше мир пополнился паровозом, светофором, малым, средним и большим космическими кораблями и прочими фигурами (некоторые на картинке)

состояния на доске могут распадаться и стабилизироваться, но могут ли они бесконечно развиваться? сам Конвей считал что нет, и даже предложил приз в $50 за обнаружение паттернов которые способны с каждым ходом неограниченно расти в размерах (или за строгое доказательство того что это невозможно). пока математик Госпер не обнаружил глайдерную пушку (положу в коменты). в 1970-1980х эти штуки уже называли artificial life forms (конечно, планочка была пониже, как и вычислительные мощности). после чего в игре нашли еще более сложные устойчивые фигуры, и до сих пор продолжают их находить (в тч в статье на разбор)

помимо невероятной математической красоты, "Жизнь" — это наглядная демонстрация

а) эмерджентности, когда очень простые правила с течением времени создают такие сложные фигуры и движения, что сложно поверить, насколько простые правилами их создают. знает ли малый космический корабль внутри игры, что его полет — иллюзия и простое следствие трех правил. или все-таки не просто иллюзия? могут ли скопления элементарных частиц придумывать себе какие-то высшие целеполагания за пределами исходных правил?

б) хаоса, поскольку в общем случае никто не может по начальным состояниям сказать, к чему оно приведет. и не важно насколько вы умный и какие у вас вычислительные мощности, просто нет

в) примитивной модели эволюция жизни на Земле, которая сама по себе тоже своего рода игра, в которой каждая живая клетка переходит в новые состояния исходя из намного более сложных правил и своего окружения. и все огромное разнообразие невероятно красивых форм жизни, которое часто приводится аргументом в пользу божественного создания этой самой жизни, на самом деле сводится к такой лаконичной системе. хорошо помню свой разговор с таксистом в Москве, который, узнав, что я физик, решил доказать мне, что бог существует словами "ну вот посмотри какое все вокруг красивое, разве мог кто-то кроме Бога это создать?". я в целом ничего не отрицаю и (надеюсь) никого не оскорбляю, но именно этот аргумент — несостоятельный. простые правила и большие времена эволюции творят чудеса без внешнего вмешательства.

Ссылки
1. здесь можно поиграть с начальными состояниями в классической реализации игры и, например, запустить свой космический корабль
2. а здесь не самая классическая реализация игры, но точно зато самая залипательная
3. а тут сам Джон Конвей сидя на кухне рассказывает об игре.
из комментов под видео узнал, что в 2020 он умер от ковида, RIP

#evolution #complexity #emergence

Artificial life forms в компьютерных симуляциях

в выходные закончил обещанный обзор статьи Sakana AI, который давно обещал сделать, прошу прощения! свободного времени мало, и становится только меньше. а текст вырос в лонгрид. пробно опубликовал его на хабре — иллюстрации тут сильно помогают. если вы там бываете, буду рад плюсам и комментариям. а ниже саммари для вас любимых, погнали 👽

Рисерчеры из Sakana AI, которые до этого наделали много шума со своим ИИ-ученым, автономно генерирующим правдоподобные научные статьи, исследуют разные области науки, где ИИ может дать заметный толчок. поиск искусcтвенных форм жизни в компьютерных симуляциях оказался одной из них. мотивация для всей области следующая

— изучать жизнь не только какой мы ее знаем, но и такой какой она могла бы быть
— ну и создать голема, пускай цифрового, потому что это давняя мечта любого алхимика

я до этого рассказывал про игру “Жизнь” Конвея, где поиск своеобразных форм жизни (глайдеров, осцилляторов и космических кораблей) происходит уже 54 года силами энтузиастов. при этом “Жизнь” — только частный случай подобных симуляций, есть более сложные, и намного менее исследованные: Boids, Lenia, ParticleLife, Neural Cellular Automata и другие, отличающимися правилами перехода пикселей из живых в мертвые и обратно, детали со ссылками статье

ключевая проблема в том, что с такими эволюционирующими хаотическими системами очень сложно предсказывать как они будут развиваться. и еще сложнее специально задать условия, которые приведут к интересным результатам, например зарождению той самой "жизни", как бы вы ее не определяли. при этом у каждой симуляции, заданной даже простыми правилами, есть десятки тысяч комбинаций параметров (соседи не в квадрате, а в круге, погибает не при 4 соседях а при 5, и так далее). то есть мало того, что нужно эти симуляции нужно просчитывать на тысячи шагов времени вперед, так нужно это делать для тысяч комбинаций входных параметров каждой из них, что превращает задачу поиска интересных форм эволюции в них сопоставимой по относительным масштабам поиску внеземного разума в открытом космосе

и вот тут на помощь пришел ИИ. Sakana взяли опен-сорсную модель CLIP (Contrastive Language–Image Pre-training) от openAI, которая была обучена для генерации текстовых описаний изображений в духе "на этой фотографии три человека стоят у барной стойки". это позволило исследователям программировать поиск "жизни" текстом, то есть буквально “ищи изображения похожие на клетки под микроскопом” или "нечто похожее на скопления нейронов". и она нашла!

такой подход авторы назвали ASAL — Automated Search for Artificial Life, и он позволил в каждой из упомянутых симуляций найти новые формы жизни, иногда удивительно похожие на биологические объекты — клетки, вирусы, бактерии, скопления нейронов. другое направлений исследований — поиск симуляций, где сложность форм жизни продолжает расти со временем неограниченно, прямо как в нашей с вами. здесь был предложен метод сведения этой сложности, которая очень плохо формализуема классическими алгоритмами, к численным метрика в пространстве эмбеддингов CLIP

при этом все описанные выше симуляции определяются очень простыми правилами двумерного мира и ничего не знают о биологии, поэтому случайное образование кластеров пикселей, сильно похожих на бактерии и вирусы — конечно может оказаться невероятным совпадением или артефактом постановки эксперимента (что искали в хаотичной системе, то и нашли), но также могут обозначить границы нового раздела науки, изучающего внутреннюю динамику этих микромиров, которые могут оказаться не менее богатыми, чем наш собственный (если поддерживать вычисления пару миллиардов лет)

мой полный текст: https://habr.com/ru/articles/879230/
ссылка на оригинальную статью и гитхаб

#AI #automated_research #evolution #complexity

внимание!

САМОЕ БОЛЬШОЕ ПРОСТОЕ ЧИСЛО (so far)

спасибо за внимание!

готовлю воркшоп для научных сотрудников МИСИС на тему "как использовать LLM в исследованиях"

чтобы втереться в доверие и показать, что я тоже своего рода ученый, откопал фотографию — с вами тоже поделюсь.

2015 год, Clean room Cavendish lab, Cambridge. очень усердно проводил эксперименты, данные по которым никогда не были опубликованы. но тогда я еще об этом не знаю и торчу в лабе каждый день до глубокой ночи

нужно просто подождать*

есть что-то очаровательное в том, что, спустя тысячи лет развития медицины, основная клиническая рекомендация при вирусной простуде — подождать **

конечно, желательно еще не перегреваться, обильно пить и сохранять покой, но это скорее про помощь телу сделать свою работу

похожее наблюдение касается сломанных костей. намного быстрее, чем задумано природой, они не заживут, хоть ты тресни (простите, этот каламбур сложно было удержать в себе)

в общем, как сильно не хотелось бы некоторые процессы ускорить, стоит уважать их характерное время. и если это время известно, запастить смирением и дать ему пройти

*терапевтический аутотренинг человека с высокой температурой и тяжелой формой невроза "лежать в кровати? интересно, а когда будем работать?"

**от некоторых вирусов, например, гриппа (ссылка), лекарства все же есть, но при болезни без осложнений их редко используют, плюс нужно быть уверенным что это именно грипп. а широкая категория препаратов от всех вирусов сразу существует как вид только в РФ, и с медициной это связано слабо (статья). с заживлением костей тоже есть прогресс, но и там все непросто, может быть у вас есть опыт?

домашние свечи опасны?!

пока далеко не ушел — про свечи. мне все чаще попадаются посты о вреде свечей и благовоний (раз, два), а вот вот эта дама и вовсе заявляет: "пользоваться ароматическими свечами — то же самое что сжечь в спальне банку бензина". это, конечно же, не так, но проговорить детали имеет смысл

напомню, что в аспирантуре занимался анализом состава воздуха, а потом еще два года делал стартап в облости экологического мониторинга, так что немного об этом знаю

— парафин действительно добывают из нефти, а состав свечей слабо контролируется, так что выделение при горении формальдегида и толуола (VOC) вполне вероятно. свечной дым это по сути мелкодисперсная сажа (PM2.5) и увеличение в воздухе концентрации этого добра при горении свечей известный факт
— но штука в том, что все эти соединения попадают в воздух в крайне низких концентрациях, которые проходят по всем строгим медицинским рекомендациям. вот здесь их аккуратно измерили. при long exposure возможны скрытые риски (их сложно исследовать), но концепт умеренности в целом полезная штука
— уровень PM2.5 в помещении намного больше зависит от близости к крупным дорогам и среднему уровню в городе. единственный способ его уменьшить — хорошая вентиляция с HEPA фильтрами (нет, обычный кондиционер не помогает)
— уровень летучей органики (VOC), необходимой для образования смога, сильнее всего связан со степенью очистки выхлопных газов или попросту с возрастом автомобилей — старые справляются хуже. а если с них еще и катализаторы снимают, то дело дрянь (привет, Ереван)
— так что свечами ситуацию особенно не изменить. и беспокоиться стоит только если у вас чувствительные слизистые. в таком случае выбирайте свечи от известных производителей или из натурального воска — состав будет чище
— pro tip — свечи дымят меньше, если им вовремя подрезать фитиль

в общем риски устроить пожар все еще кратно выше всех остальных. так что следите за занавесками, не забывайте проветривать помещение и будет вам счастье с нежно подрагивающей тенью от фитиля.

а от тех, кто советует отказаться от свечей, поскорее отписывайтесь, они вам скоро начнут рассказывать про вред парфюма. кстати, пока писал нашел адекватное и подробное видео (на англ)

#air

блоги — публичные репозитории мыслей

удобно, когда некоторое их количество можно прочитать сразу после знакомства, особенно если это знакомство в интернете. такая практика думания вслух и сейчас мимо вас пролетела одна из них

по записанным мыслям человека можно даже оцифровать. то есть это еще и скромная, но все же заявка на вечность. если не в блог, то записывайте свои хотя бы в дневник, главное записывайте

и по этой причине я никогда не использую LLM, когда пишу тут — иначе репозиторий засоряется мыслями чужими. так что если увидели глупость — знайте, это моя собственная

как я использую ИИ — ассистенты на звонках

один из моих любимейших кейсов применения ЛЛМ в жизни — это цифровые ассистенты, которые ходят на все мои звонки, записывают их, транскрибируют и затем присылают мне и другим участникам саммари, составленные по предварительно заготовленным промптам. например, извлекая action steps, раскладывая разговор по обсуждаемым темам или отдельным участникам.

во время важных разговоров я всегда делаю заметки издавая заметно стуча по клавишам, чем наверняка раздражал многих собеседников. и как же здорово, что теперь я могу расслабиться зная, что ассистент запишет все что нужно, и я смогу вернуться к записи когда мне понадобится что-то вспомнить. в общем еще один модуль расширения человеческой памяти, такие технологии, всего за $20-30 в месяц

я пользуюсь сервисом tl;dv — у них самый классный продукт вокруг этой довольно очевидной идеи, и им просто очень приятно пользоваться, вплоть до tone of voice фаундеров в маркетинговых рассылках. но вообще таких сервисов уже с десяток, и зум с гугл митс уже релизят что-то там свое (кривое).

pro tip — для tl;dv можно настроить интеграцию через no-code платформу zapier, чтобы все ваши звонки сразу переносились в notion (сделал себе такое за один вечер), или пересылались в закрытый телеграм канал. в компании, с которой я сейчас работаю, есть канал со всеми звонками всех сотрудников — даже если вас не приглашали, можно наверстать контекст за пару минут, что добавляет прозрачности всем процессам и упрощает синхронизацию между людьми, короче, круто

при этом забавно наблюдать как быстро меняются человеческие привычки:
— 10 лет назад — предложение провести важную встречу через скайп вызывает недоумение
— 3 года назад вы напрягаетесь, когда вас спрашивают "можно ли записать звонок на видео"
— сегодня на большинстве звонков, куда я хожу, есть 1-2 ИИ-ассистента, а иногда их больше, чем живых людей. а записи транслируются не только самому сервису, но и ЛЛМ-провайдерам, которые эти сервисы используют
— вы находитесь здесь —