Тут все пишут, что Джиптишки теперь доступны для бесплатных пользователей chatGPT.
Давайте разберемся.

Создание GPTs - недоступно. Можно только пользовать чужие. Где и как вы будете их искать (их миллионы) - ваша проблема.
В сети уже сотни свалок с Джипитишками, тут например https://gptstore.ai/, со своими рейтингами, накрутками и войной за топы.
На Гитхабе брутально собирают таблички: https://github.com/1mrat/gpt-stats
На официальном сайте OpenAI всего шесть категорий, продирайтесь сами: https://chat.openai.com/gpts

Но то, что Джипитишки теперь доступны бесплатным пользователям - это не главное (вообще их используют 5% пользователей chatGPT).

Крутизна в том, что бесплатным юзерам теперь доступны:

Vision модель! Можно вгружать в chatGPT картинки, просить распознать и разговаривать про них с ИИ-терапевтом.

Поиск в интернете и работа со ссылками.

Анализ Данных! Вот это круто. Можете вгружать туда свои данные и просить рассказать про них или построить графики. Причем можно давать на вход ссылки на ГуглДрайв.

Память. Можно просить запоминать ваши переписки и хранить в памяти детали. Недоступно в европе.

Но есть маленькое но. Вы никогда не будете знать, когда вам отрубят gpt-4o и переключат на 3.5 и когда случится лимит на количество запросов. Иногда 20, иногда 2. Все определяется загрузкой близлежащих к вам серверов.

Обязательно попробуйте дата аналитику. Это магия.

Прастити. Не могу остановиться.
Это демо AnimateAnyone от NоvitaLabs наконец-то посчиталось через 40 минут. Напомню, что на входе фото в футболочке, а на выходе видео в джинсиках. Фотку брал как вот в этом посте.
Впору устраивать флешмоб.
Хорошо-хорошо, больше не буду. Щас про Амазон напишу.

Подтверждаются планы Amazon ввести платную подписку на Alexa с ИИ-возможностями. И в этому смысле Amazon включается в продуктовый подход по монетизации ИИ. Как, например, Google (с Gemini и должна конкурировать ИИ-Alexa). Стоимость подписки Amazon пока не раскрывает, но можно предположить, что компания пойдет по пути конкурентов. То есть базовые функции будут бесплатными, а доступ к дополнительным возможностям — по подписке. Какими они могут быть? Пока неясно. Например, подписка на Gemini Advanced от Google дает доступ к самой мощной модели — Gemini Ultra, которая по метрикам сильно лучше Gemini Pro.

Вопрос в том, какая градация и какие условия будут у Alexa.

Я знаю Влада еще по студии 100 киловатт, а возможно даже еще по ранней Синематеке. А потом Влад и Рома сделали Synticate, и это было прекрасно. Абсолютно дерзкие работы, безбашенный моушен-дизайн, аватары, репликанты, метаверсы.
Также Synticate были одними из первых, кто вкатился в нейросетки.
Видос в шапке они создали для выставки White Dragon by Satori-Me! Эта работа пошла по галереям Нью-Йорка, Лондона и Дубая.
Юзают Stable Diffusion в сочетании с 3D-анимацией. А сами называют этот стиль neuro motion.
И у них есть телеграм-канал - там много работ, полезные материалы для CG художников и просто отличный life-контент внутренней кухни студии.

Ну, за фазовщиков.

Если кто не помнит (95% не знают), что в классической мультипликации были три самые пьющие профессии. Фазовщики, контуровщики и заливщики.
Гениальный режисер-мультипликатор рисовал только ключевые кадры своей твердой (не всегда) рукой. На кальке. Типа мячик на земле, мячик в воздухе.
Потом приходили фазовщики, и дорисовывали недостающие кадры, чтобы было 12 кадров в сек. Это примерно то, что делает любой 3Д-пакет, интерполируя движение между ключевыми кадрами, поставленными аниматором.
Потом приходили контуровщики и обводили карандашные наброски жирными черными контурами и переносили все это на целлулоид.
Потом приходили самые пьющие, заливщики. Они переворачивали целлулоид и заливали внутренность контуров цветными красками. Чтоб было красиво и в соответствии с колор-чартом. Переворачивали, чтобы контур был "сверху" над заливкой, если перевернуть обратно.
Работа была ацкая, люди реально спивались (вы думали, откуда такая склонность выпивать не чокаясь).

Так вот, это подводка вот к такой работе.

Я малость офигел от качества интерполяции (фазовки). На входе два кадра, первый и финальный. Модель делает промежуточные кадры. И не просто линейной интерполяцией, а через свое обученной латентное пространство. Авторы настаивают, что она это делает нелинейно и, главное, "красиво". И что ее учили именно на мультиках и видосах, а не просто на картинках.

Самое удивительно, что есть и код, и бумага, и даже градио-демо.

Похоже, что производство мультиков можно очень сильно ускорить. Особенно вот это вот аниме, где герои еле шевелят головой, но ацки орудуют бровями.

Авторы, правда, сами признаются, что модель косячит с объектами на заднем плане, принимая их за неведомую фигню и делая ацкий шевеляж оных.

Но фазовки просто огонь. Попробуйте отрисовать лицо от профиля в анфас за 3-4 фазы и вы поймете, что это такое.

Для начала посмотрите примеры тут.
Огонь жеж.
Потом читайте свежую бумажку, если хотите.
Потом можно и в код:
https://github.com/ToonCrafter/ToonCrafter

OpenAI решило множить продукты.
Сегодня два анонса.

ChatGPT Edu - версия ChatGPT, созданная для университетов, чтобы внедрять искусственный интеллект для студентов, преподавателей, исследователей и сотрудников. Работает на GPT-4o и ориентирован на командную работу. Цена не обозначена, но похоже на бесплатность ибо упомянут более высокий лимит сообщений, чем у бесплатных пользователей и ничего не сказано про картинки.
https://openai.com/index/introducing-chatgpt-edu/

OpenAI for Nonprofits - это просто скидки некомерческих организаций для планы Team (теперь 20$) и Enterpise(скидка 50%).
https://openai.com/index/introducing-openai-for-nonprofits/

А вот это уже слишком нарядно, чтобы быть правдой.
Тут под капотом LiquiGen от Эмбергена (и да, это РЕАЛТАЙМ), картинка из которого идет в StreamDiffusion.

Если это соединить со вчерашним постом про ToonCrafter, то за традиционные мультики можно налить холодненькой.
Вечером напишу пост про нейрорендер, накипело уже. В очередной раз.

Интересное про внутренности трансформеров.

Все пишут про коммерческую разработку, но самое интересное, кажется, происходит в компьютерных науках. Ученые обнаружили новое свойство больших языковых моделей – как раз на их основе строятся всевозможные Chat-что-нибудь. Институт искусственного интеллекта AIRI, Сбер и Сколтех – мощное комбо!

Как я понял, они проанализировали 20 моделей "под микроскопом" и узнали, что самая популярная архитектура современных нейросетей (трансформер) отличается свойством, которое раньше считалось не релевантным.

Иван Оселедец, д. ф.-м. н., СЕО Института AIRI, профессор «Сколтеха»: «Нам удалось изучить модели под микроскопом, простыми средствами описать сложные процессы внутри трансформеров и сразу предложить эффективный регуляризатор. Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время именно он позволяет тратить меньше вычислительных ресурсов на развёртку и инференс больших языковых моделей"

«В опубликованной работе выявлена линейность в некоторых представлениях данных внутри этих блоков. Как следствие, это позволяет существенно оптимизировать архитектуры с точки зрения вычислительных мощностей, снизить нагрузку, получить результат за меньшее время за счёт адаптивной регуляризации. Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%», — Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.

https://www.cnews.ru/news/line/2024-05-31_bolshie_yazykovye_modeli

ОМОСТ

Держите новый подарок от автора ControlNet.
Это даже сложно описать.

Omost включает в себя разные опенсорсные модели LLMs (лама, дельфин, фи-3), которые (нет, не пишут промпты) они пишут код на Питонге(!) для компоновки содержимого картинки. А дальше, с помощью виртуального агента Canvas, этот код может быть посчитан специальными реализациями генераторов изображений для создания реальных изображений.

Понятно?

Короче, теперь ваш убогий промпт раскучерявливается в огромную простыню кода на Питонге. А потом вы просто жмете - ДАВАЙ КАРТИНКУ. И оно дает.
Но код на питоне сделан так, что в нем очень много чего описано структурно, от композиции до стиля, и можно методом очень пристального взгляда все это приподпонять.

Надо скачивать, ставить и смотреть на то, какие чекпойнты внутри. Это явно Stable Diffusion, именно в него выход из агента Canva, который переводит питонг в токены.

https://github.com/lllyasviel/Omost

Ну, за саунд эффекты и актеров, которые делают писки и визги.
ElevenLabs сделал фичу генерации саунд-эффектов бесплатной для всех.
Можно резвиться самим вот тут:
https://elevenlabs.io/app/sound-effects
Я как обычно, пытаюсь засунуть рельсу в соломорезку, поэтому присунул ему 445 букв "е", а потом промпт Funky Buddha.
Попробуйте понять, кто из них кто.
Ну и наваливайте примеры в коменты. Вкупе с видеогенерацией на 4 секунды могут получаться знатные nanoASMR.

В КонтролНете качественные обновления.

Как пишут вот тут: https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download
появились модели ContrоlNet для SDXL, которые работают сильно лучше предыдущих для SDXL.
Скачать и поставить можно отсюда:
https://huggingface.co/xinsir
Там пока есть:
Canny
Openpose
Scribble
Scribble-Anime

Народ пока в восторге:
https://www.reddit.com/r/StableDiffusion/comments/1d24igd/new_sdxl_controlnets_canny_scribble_openpose/

А вы говорите - джойстики, рули и лыжные маски, виар-шмиар! Это все для слабаков. Реальные пацаны играют, нет, тренируются, по-взрослому.
Ждем наборов "сделай сам" от Варгейминга.

https://x.com/i/status/1796486388202008667

Нейронки теперь воспитывают детей: многодетная мать сгенерировала фейковый выпуск новостей, в котором ведущий показал вопиющий беспорядок в их детской комнате.

В шоке от увиденного малые сразу бросились собирать свои игрушки. Вот, что значит современные родители.

@killerfeat