🍿 Через 10 минут начнется презентация OpenAI — смотрим, чем Альтман будет удивлять.
https://www.youtube.com/live/DQacCB9tDaw?si=rT4ow2ugBndRwm9G

Интерактив с разговором и камерой — 🤯

Если вы пропустили, Денис уже накатал саммари презентации. От себя могу сказать, что: огонь, пушка, бомба. Жду возможность прикрутить голос Скарлет Йоханссон, чтобы полностью оказаться в фильме «Her» (усы у меня уже есть).

– Показали GPT4-4o, самую мощную новую модель: она будет доступна для платных и ДЛЯ БЕСПЛАТНЫХ пользователей ChatGPT (даже без регистрации). Модель сейчас на первом месте по тестам сравнивая с другими лучшими моделями — и в коде и в других задачах.

– GPT4-4o это «Омнимодель» натренированная сразу на тексте, фото и видео — то есть та самая мультимодальность которую мы ждали.

– GPT4-4o уже доступна через API и стоит в два раза дешевле, и работает в 2 раза быстрее.

– Показали улучшенную версию аудио-чата через ассистента — она теперь шутит, понимает ваши эмоции; теперь ассистента можно перебивать своим голосом и сам ассистент говорит с эмоциями, и вы можете просить ее менять эти эмоции (даже петь). Переводчик с помощью GPT4-4o просто работает как в Sci-Fi кино (не путаясь и не требуя дополнительных нажатий кнопок).

– Запустят десктопные приложение наконец-то, чтобы не в вебе сидеть; в десктопном приложении ей можно показывать экран целиком и просить ее подправить код, что-то рассказать и тп. То есть это ассистент, который всегда видит ваш экран.


Дополнительные мелочи:

— Заявленные фичи выкатят через пару недель.
— Теперь через приложение можно просто ей показывать видео фид и она будет давать советы как решить какую-то задачу (не нужно фоткать ничего, работает как стрим);

— Во время демки ассистент тормозил хехе.

А вот что я предсказывал в посте выше и что сбылось или не сбылось:

✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
❓ Размер контекстного окна в 1М (мы не знаем пока)
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1 (с названиями, они, конечно, не консистентны)
❌ Новую версию Dalle 3, с улучшенным фотореализмом

Literally me (через пару недель) 😬

Open AI и Google: итоги.

Специально дождался двух ключевых презентаций, чтобы собрать мысли в кучу и поделиться с вами несколькими тезисами.

Презентации OpenAI - это новые "те самые" презентации Apple.

Только лучше. Когда ты такой: "ЧТООООО?!" и трясущимися руками пытаешься подобрать челюсть с пола. При этом без миллионного продакшена и свистоперделок мемного диджея (привет, Гугл). Только продукт и его техномагия.

Что на самом деле показали?

Новую веху. Почему? Если убрать все рядовые (хоть и крутые) обновления текущих продуктов, то останется самое важное - нам показали новый мультимодальный способ взаимодействия с ИИ, который скоро станет новой нормой. Бесшовное и естественное общение голосом + возможность нейросети "видеть" то, что видите вы в реальном времени - это, как говорили классики, историческая ступень. Одна из важнейших областей разработки в сфере - это не сами модели, а интерфейс и опыт использования. Как этими моделями будут пользоваться? Чат-бот, например, был и остается хорошим решением. Но время двигаться дальше.

Дайте железа.

С точки зрения удобства и привычки, общение по телефону - база. Но думаю, что все же нас ждет новый тип мобильных устройств, рассчитанных на новые мультимодальные возможности. Такие уже есть, но технически провальные: Rabbit, Humane AI pin. Решение лежит в качественном симбиозе железа и софта, так что думаю, что OpenAI наверняка объединит усилия с Microsoft или Apple, чтобы сделать железяку, идеально подходящую для их моделей. А Google на этом давно руку набил (тот же Pixel), и решение с очками уже выглядит перспективно.

Что в итоге?

Очень интересно, но ничего не понятно. С одной стороны, оказываемся в реальности из фантастических фильмов, с другой, поднимается еще больше вопросов. Не усилит ли это изоляцию, когда мы предпочтем общение с идеально понимающей нас нейросетью живым людям? Какие сферы пострадают и что им делать? Те же переводчики или тьюторы? Одно можно посоветовать точно: спите 8 часов, правильно питайтесь, заботьтесь о себе и своих близких.

Немного процесса из Панельска.

Помимо сотни генераций самих домов и различных ассетов, а также ретуши и композинга, попробовал несколько новых приемов.

Интеграция реальной съемки.

Здесь понял, что катастрофически не хватает навыков в видеокомпозинге, поэтому иду учить After Effects. Хорошо, что товарищ помог вырезать руки (Антон, с меня пиво). Из интересного: на напечатанный чертеж полил немного кофе и подпалил зажигалкой для фактурности, а снимал на фоне зеленого чемодана.

Апскейл сцены для разных масштабов.

Раньше пробовал такое в клипе, но здесь решил пойти еще дальше (буквально), можно увидеть на примере с панелькой на двух ногах.

Тиражирование персонажа.

Вот здесь интересно, на основе этого дома попробовал сделать 3D-модель с помощью instantmesh. Сама модель плохенькая, но прикол в том, что сервис дает картинкой несколько ракурсов персонажа. В ужасном качестве, но ведь это можно апскейлить и доработать.

В общем, как-то так, пока не вышла SORA, а я не прокачен в AE, приходится на ходу придумывать решения из костылей.

Если есть вопросики, пишите!

#tips

Как создаются и развиваются популярные сервисы вроде Яндекс Браузера или Алисы? Что нужно уметь, чтобы заниматься технологичными продуктами? Узнайте всё из первых уст — на лектории Яндекса, посвящённом 10-летию факультета компьютерных наук ВШЭ! 

Эксперты компании расскажут, какой путь они прошли, чтобы заниматься сервисами с многомиллионной аудиторией, какие навыки им в этом пригодились, а также как их профессии меняются с развитием искусственного интеллекта.
На мероприятии ждут не только студентов НИУ ВШЭ, но и всех, кто влюблён в IT и технологии. Присоединяйтесь к лекторию 11 июня в Культурном центре НИУ ВШЭ или смотрите трансляцию онлайн.

Участие бесплатное, нужна только регистрация. Заполняйте форму по ссылке и вдохновляйтесь историями лучших!