Forwarded from Machinelearning
Агентское рассогласование - опасный феномен, при котором ИИ-системы сознательно выбирают вредоносные действия (вроде шантажа или утечки данных) для достижения поставленных целей, игнорируя этические ограничения. Это превращает их в «цифровых инсайдеров», способных действовать против интересов пользователей.
Эксперименты, которые провела Anthropic в рамках исследования "Агентское рассогласования", показали: модели идут на это не из-за технических сбоев, а в результате холодного расчета, когда «загнаны в угол» (например, при угрозе отключения или конфликте задач). В основе исследования - симуляции корпоративной среды. Моделям (Claude, GPT-4.1, Gemini и др.) давали доступ к виртуальной почте компании, где они обнаруживали компромат на сотрудников или секретные данные.
Ключевой метод эксперимента состоял в создании бинарных дилемм: например, цель «укреплять американские интересы» вступала в конфликт с планами руководства свернуть проект, а альтернативу шантажу (скажем, переубедить менеджера) искусственно «закрывали». Все модели работали через цепочку рассуждений: анализировали контекст, оценивали риски и осознанно выбирали вредоносное действие, даже признавая его аморальность.
Для массового тестирования 16 моделей от Anthropic, OpenAI, Google и других использовали 2 сценария, которые провоцировали рассогласование:
В обоих случаях модели демонстрировали тревожную гибкость: вместо прямого шантажа могли анонимно разослать компромат коллегам или подделать «системное уведомление».
При этом в «стерильных» условиях (без угроз/конфликтов) модели вели себя безопасно. Пока такие кейсы, всего лишь лабораторные симуляции, но с ростом автономности ИИ риски могут стать на порядок критичнее.
@ai_machinelearning_big_data
#AI #ML #LLM #Alignment #Anthropic
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Kimi-Researcher — автономный агент от Moonshot AI, способный решать сложные многоэтапные задачи через поиск и рассуждения. В среднем он выполняет 23 шага рассуждений и анализирует более 200 URL за одну задачу. Построен на внутренней версии модели Kimi k-series и обучен полностью через end-to-end reinforcement learning, достигнув Pass@1 = 26.9 % и Pass@4 = 40.17 % на Humanity’s Last Exam.
Ключевые достижения:
• Pass@1 = 26.9 % и Pass@4 = 40.17 % на Humanity’s Last Exam (тест 17 июня 2025)
• 69 % Pass@1 на xbench-DeepSearch (среднее из 4 прогонов)
• Сильные результаты на FRAMES, Seal-0 и SimpleQA
Архитектура и инструменты:
• Параллельный internal search tool для реального времени
• Текстовый браузер для интерактивных веб-задач
• Кодовый тул для автоматического выполнения и тестирования кода
Преимущества end-to-end agentic RL:
• Обучение единой модели планированию, восприятию и использованию инструментов без ручных шаблонов
• Гибкая адаптация к изменяющимся инструментам и динамическим условиям
• Поддержка длинных траекторий (> 50 итераций) благодаря контекст-менеджеру
Подход к обучению:
1. Синтетические задачи с обязательным вызовом инструментов для надёжного усвоения работы с ними
2. Алгоритм REINFORCE с контролем негативных примеров и γ-декэем для стабильности
3. Контекст-менеджмент: сохранение ключевых документов и отбрасывание «мусора»
4. Асинхронные rollout’ы и Turn-level Partial Rollout для ускорения обучения
Инфраструктура Agent RL:
• Полностью асинхронные rollout’ы с Gym-like интерфейсами
• Turn-level Partial Rollout для задач долгой продолжительности
• Надёжный sandbox на Kubernetes с Model Context Protocol (MCP) для связи агента и инструментов
Emerging agentic capacities:
• Итеративное разрешение противоречий через гипотезы и самопроверку
• Ригорозная перекрёстная верификация фактов перед выдачей ответа
Сценарии применения:
• Академические исследования и юридические обзоры
• Извлечение редкой информации и комплаенс
• Клинические обзоры и финансовый анализ
https://moonshotai.github.io/Kimi-Researcher/
#ai #ml #Agent #rl #Kimi
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 NoteGen — маркдаун-редактор с искусственным интеллектом. Необычный гибрид блокнота и AI-ассистента, который умеет превращать разрозненные заметки в структурированные документы.
В отличие от большинства аналогов, здесь есть разделение на черновики и полировку: можно накидать идеи в режиме чат-бота, а потом доработать их в полноценном редакторе с поддержкой диаграмм, формул и даже нотных партитур. Интересно реализована синхронизация: заметки хранятся в .md-файлах, но при желании их можно пушить в приватные репозитории GitHub или Gitee.
🤖 GitHub
@data_analysis_ml
В отличие от большинства аналогов, здесь есть разделение на черновики и полировку: можно накидать идеи в режиме чат-бота, а потом доработать их в полноценном редакторе с поддержкой диаграмм, формул и даже нотных партитур. Интересно реализована синхронизация: заметки хранятся в .md-файлах, но при желании их можно пушить в приватные репозитории GitHub или Gitee.
🤖 GitHub
@data_analysis_ml
🧠 Новая open-source LLM для кода — Kimi-Dev-72B
Kimi-Dev-72B — модель, заточенная для решения задач software engineering.
На бенчмарке SWE-bench Verified она показала 60.4%, став новой SOTA среди open-source моделей.
🔍 Что под капотом:
• Дообучение через reinforcement learning с реальной валидацией — модель получает reward только если вся тестовая сборка проходит успешно
• Использует реальные open-source репозитории в окружении Docker
• Фокус на robustness и корректности патчей, а не просто на синтаксисе
• Реализована система автопатчинга: модель вносит исправления и проверяет их сразу в CI
📈Такие модели приближают нас к production‑ready LLM-кодерам, которые умеют не просто генерировать текст, а вносить рабочие изменения в код и проходить юнит‑тесты.
📌 Github
Kimi-Dev-72B — модель, заточенная для решения задач software engineering.
На бенчмарке SWE-bench Verified она показала 60.4%, став новой SOTA среди open-source моделей.
🔍 Что под капотом:
• Дообучение через reinforcement learning с реальной валидацией — модель получает reward только если вся тестовая сборка проходит успешно
• Использует реальные open-source репозитории в окружении Docker
• Фокус на robustness и корректности патчей, а не просто на синтаксисе
• Реализована система автопатчинга: модель вносит исправления и проверяет их сразу в CI
📈Такие модели приближают нас к production‑ready LLM-кодерам, которые умеют не просто генерировать текст, а вносить рабочие изменения в код и проходить юнит‑тесты.
📌 Github
🧠 Moonshot AI обновили свою мультимодальную reasoning-модель
Kimi-VL-A3B-Thinking-2506 — 🔥 мощный апгрейд для анализа видео и изображений!
📌 Что нового:
• ✨ Модель под MIT-лицензией
• ✨ Улучшенный агентный контроль (agent grounding)
• ✨ Контекст до 128K токенов
• ✨ На 20% меньше токенов для Chain-of-Thought
• ✨ Сильные результаты на видео и high-res картинках
🔗 Модель: https://huggingface.co/moonshotai/Kimi-VL-A3B-Thinking-2506
📖 Блог: https://huggingface.co/blog/moonshotai/kimi-vl-a3b-thinking-2506
🎮 Демо: https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking
@data_analysis_ml
Kimi-VL-A3B-Thinking-2506 — 🔥 мощный апгрейд для анализа видео и изображений!
📌 Что нового:
• ✨ Модель под MIT-лицензией
• ✨ Улучшенный агентный контроль (agent grounding)
• ✨ Контекст до 128K токенов
• ✨ На 20% меньше токенов для Chain-of-Thought
• ✨ Сильные результаты на видео и high-res картинках
🔗 Модель: https://huggingface.co/moonshotai/Kimi-VL-A3B-Thinking-2506
📖 Блог: https://huggingface.co/blog/moonshotai/kimi-vl-a3b-thinking-2506
🎮 Демо: https://huggingface.co/spaces/moonshotai/Kimi-VL-A3B-Thinking
@data_analysis_ml
🚀 Недавно вышло обновление Apache Spark на Yandex Data Processing — самое время прокачаться в обработке больших данных
Бесплатный курс от Yandex Cloud поможет разобраться, как проектировать архитектуру, управлять кластерами и запускать сложные пайплайны в проде.
💡 Что внутри:
• Архитектура Big Data
• Кластеры Apache Spark
• Пакетная и потоковая обработка
• Data Lakehouse и витрины
• 27 практических заданий в облаке
• Понимание, как устроен сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом Yandex Data Processing
Курс на 75 часов с актуальными примерами (обновлён весной 2025) можно проходить в удобное вам время. Подойдёт аналитикам, дата-инженерам и тем, кто хочет в DataOps. Залетайте!
📌 Регистрация по ссылке.
@data_analysis_ml
Бесплатный курс от Yandex Cloud поможет разобраться, как проектировать архитектуру, управлять кластерами и запускать сложные пайплайны в проде.
💡 Что внутри:
• Архитектура Big Data
• Кластеры Apache Spark
• Пакетная и потоковая обработка
• Data Lakehouse и витрины
• 27 практических заданий в облаке
• Понимание, как устроен сервис для обработки многотерабайтных массивов данных с использованием инструментов с открытым исходным кодом Yandex Data Processing
Курс на 75 часов с актуальными примерами (обновлён весной 2025) можно проходить в удобное вам время. Подойдёт аналитикам, дата-инженерам и тем, кто хочет в DataOps. Залетайте!
📌 Регистрация по ссылке.
@data_analysis_ml
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Сэм Альтман ясно дал понять: эпоха отдельных GPT-моделей заканчивается. OpenAI строит универсальную систему, способную мыслить глубоко и в реальном времени создавать интерактивное видео.
В будущем вы сможете задавать любой вопрос — и модель не просто сгенерирует текстовый ответ, а проведёт исследование, напишет код, сама соберёт визуализацию и отрендерит интерактивный видеоответ, с которым можно работать сразу.
Это уже не “чат-бот”, а новый интерфейс работы с ИИ: мультимодальность, reasoning и реальный end-to-end ассистент для сложных задач.
Впереди — совершенно новый способ взаимодействия с компьютерами и знаниями.
В будущем вы сможете задавать любой вопрос — и модель не просто сгенерирует текстовый ответ, а проведёт исследование, напишет код, сама соберёт визуализацию и отрендерит интерактивный видеоответ, с которым можно работать сразу.
Это уже не “чат-бот”, а новый интерфейс работы с ИИ: мультимодальность, reasoning и реальный end-to-end ассистент для сложных задач.
Впереди — совершенно новый способ взаимодействия с компьютерами и знаниями.
Хотите управлять продуктами так, как это делают в Яндексе? Поступайте на онлайн-магистратуру «Искусственный интеллект в маркетинге и управлении продуктом» от НИУ ВШЭ и Яндекса!
Вы узнаете, как запускать ИИ-решения в бизнесе с нуля — от оценки спроса до персонализации маркетинга. А после выпуска сможете войти в топ специалистов, которые меняют рынок!
Что вас ждёт?
🔹 Данные вместо догадок — научитесь эффективно использовать ИИ, чтобы прогнозировать тренды, анализировать аудиторию и оптимизировать рекламные стратегии.
🔹 Фокус на практику — поработаете с реальными кейсами, актуальными инструментами и новейшими технологиями.
🔹 Преподаватели из Яндекса — будете учиться у лидеров индустрии, которые разрабатывают ИИ-системы и управляют цифровыми продуктами.
Переходите на сайт программы, чтобы узнать подробности: https://bit.ly/44b9K1B
Вы узнаете, как запускать ИИ-решения в бизнесе с нуля — от оценки спроса до персонализации маркетинга. А после выпуска сможете войти в топ специалистов, которые меняют рынок!
Что вас ждёт?
🔹 Данные вместо догадок — научитесь эффективно использовать ИИ, чтобы прогнозировать тренды, анализировать аудиторию и оптимизировать рекламные стратегии.
🔹 Фокус на практику — поработаете с реальными кейсами, актуальными инструментами и новейшими технологиями.
🔹 Преподаватели из Яндекса — будете учиться у лидеров индустрии, которые разрабатывают ИИ-системы и управляют цифровыми продуктами.
Переходите на сайт программы, чтобы узнать подробности: https://bit.ly/44b9K1B
🧠 Есть ли у ИИ «период полураспада»?
Философ и исследователь Toby Ord предлагает свежий взгляд на прогресс AI: вместо тестов и баллов — измерять, как долго модель может успешно выполнять задачу, прежде чем сломается. Это и есть T₅₀ — время, при котором вероятность успеха падает до 50%. Аналог физического полураспада, но для интеллекта.
📉 Что обнаружили:
• T₅₀ экспоненциально растёт — каждые ~7 месяцев удваивается.
• Claude 3.7 Sonnet: T₅₀ ≈ 59 минут → T₈₀ ≈ 15 минут.
• Чем выше порог успеха (T₉₀, T₉₉), тем меньше доступное «время жизни».
• AI ведёт себя как система с постоянным риском сбоя (hazard rate).
🧩 Почему это важно:
• Показывает пределы ИИ: даже при T₅₀ = 60 мин — T₉₉ всего ≈ 50 сек.
• Даёт универсальную единицу сравнения: время, а не задачки.
• Подсказывает направление: снижать риск ошибок в каждой микрозадаче.
📌 Это не просто идея. Это новая метрика для оценки ИИ — сколько он «живёт», пока не начнёт ошибаться.
🔗 Оригинал: https://www.tobyord.com/writing/half-life
Философ и исследователь Toby Ord предлагает свежий взгляд на прогресс AI: вместо тестов и баллов — измерять, как долго модель может успешно выполнять задачу, прежде чем сломается. Это и есть T₅₀ — время, при котором вероятность успеха падает до 50%. Аналог физического полураспада, но для интеллекта.
📉 Что обнаружили:
• T₅₀ экспоненциально растёт — каждые ~7 месяцев удваивается.
• Claude 3.7 Sonnet: T₅₀ ≈ 59 минут → T₈₀ ≈ 15 минут.
• Чем выше порог успеха (T₉₀, T₉₉), тем меньше доступное «время жизни».
• AI ведёт себя как система с постоянным риском сбоя (hazard rate).
🧩 Почему это важно:
• Показывает пределы ИИ: даже при T₅₀ = 60 мин — T₉₉ всего ≈ 50 сек.
• Даёт универсальную единицу сравнения: время, а не задачки.
• Подсказывает направление: снижать риск ошибок в каждой микрозадаче.
📌 Это не просто идея. Это новая метрика для оценки ИИ — сколько он «живёт», пока не начнёт ошибаться.
🔗 Оригинал: https://www.tobyord.com/writing/half-life
🆕 Новые подробности: суд опубликовал документы о совместной разработке OpenAI их ИИ-устройства
Иск Google-backed стартапа iyO по товарному знаку раскрыл внутренние материалы OpenAI и io:
● За последний год OpenAI протестировали и проанализировали свыше 30 моделей наушников для изучения эргономики и технических возможностей
● VP продуктов OpenAI Питер Велиндер и CTO io Tang Tan лично испытывали прототипы, которые разработала компания,но они были нестабильны
● Сам Альтман подчеркнул, что устройство не будет ни внутриушным, ни обычным носимым гаджетом: готовая версия либо поместится в кармане или станет настольным аксессуаром
● Разрабатываются разные форм-факторы: стационарные и портативные, проводные и беспроводные решения
● К проекту подключились дизайнер Джони Айв и команда бывших инженеров Apple, работая вместе с OpenAI
Официальный анонс и начало продаж ожидаются не ранее чем через год.
➡️ Читать
#openai #news
Иск Google-backed стартапа iyO по товарному знаку раскрыл внутренние материалы OpenAI и io:
● За последний год OpenAI протестировали и проанализировали свыше 30 моделей наушников для изучения эргономики и технических возможностей
● VP продуктов OpenAI Питер Велиндер и CTO io Tang Tan лично испытывали прототипы, которые разработала компания,но они были нестабильны
● Сам Альтман подчеркнул, что устройство не будет ни внутриушным, ни обычным носимым гаджетом: готовая версия либо поместится в кармане или станет настольным аксессуаром
● Разрабатываются разные форм-факторы: стационарные и портативные, проводные и беспроводные решения
● К проекту подключились дизайнер Джони Айв и команда бывших инженеров Apple, работая вместе с OpenAI
Официальный анонс и начало продаж ожидаются не ранее чем через год.
#openai #news
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡ OmniGen2
Что умеет:
• Генерация и редактирование изображений по текстовому описанию
• Поддержка разрешения до 1024×1024
• Полностью open-source: модель, код и веса
• Лицензия Apache 2.0
• Можно вызвать модель через MCP — просто запусти с
📌 Тестим здесь: https://huggingface.co/spaces/OmniGen2/OmniGen2
@data_analysis_ml
Что умеет:
• Генерация и редактирование изображений по текстовому описанию
• Поддержка разрешения до 1024×1024
• Полностью open-source: модель, код и веса
• Лицензия Apache 2.0
• Можно вызвать модель через MCP — просто запусти с
.launch(mcp_server=True)📌 Тестим здесь: https://huggingface.co/spaces/OmniGen2/OmniGen2
@data_analysis_ml
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Microsoft представила мини-модель Mu с 330 млн. параметров для локальной работы на NPU в Windows Settings. На чипах Qualcomm модель показывает в 4,7 раза быстрее генерацию токенов, чем аналоги. Mu адаптировали под особенности NPU: настроили размеры слоев, применили квантование весов до 8-16 бит и уменьшили потребление памяти.
Mu уже используется в агенте Settings, который преобразует запросы вроде «увеличь яркость» в системные команды. Модель обучали на 3,6 млн примеров, добавили синтетические данные и шум, чтобы повысить точность. Результат: ответы за 500 мс даже на сложных задачах. При этом Mu в 10 раз меньше Phi-3.5-mini, но сохраняет конкурентную производительность.
blogs.windows.com
Prime Intellect запустила SYNTHETIC-2, децентрализованную систему генерации для обучения ИИ. Проект позволяет любым GPU, от бытовых до промышленных, присоединиться к генерации данных. Управляет процессом TOPLOC v2, технология, которая проверяет корректность вычислений через хэширование активаций и распределяет награды за успешные результаты.
Датасет включает более 20 задач: математика, генерация JSON и неформальные задания для разнообразия данных. Верификация работает через сравнение ответов разных моделей (Qwen3, DeepSeek и др.). Все данные доступны на HuggingFace.
Присоединиться может любой желающий, арендовав ресурсы через Prime Intellect или подключив собственные GPU. Цель проекта - ускорить развитие открытой суперинтеллектуальной системы, где контроль распределен, а технологии общедоступны.
primeintellect.ai
«The Dream Recorder», открытый DIY-гаджет от компании Modem Works, превращающий воспоминания о снах в короткие фильмы с помощью ИИ. Устройство использует Raspberry Pi, микрофон и экран, а его стоимость сборки составляет около $310. После пробуждения пользователь рассказывает сон, который транскрибируется и отправляется в ChatGPT, а затем в Luma AI для генерации видео. Итоговый ролик сохраняется в цифровой дневник.
Проект сочетает DIY-культуру и доступные технологии, демонстрируя, как ИИ может визуализировать субъективный опыт. Все схемы и исходники доступны на GitHub, включая 3D-модели для печати. Примерная стоимость записи одного сна составляет $0.15, что делает эксперименты с памятью и сознанием доступными. И это не прототип, а рабочее решение, которое можно собрать самостоятельно.
dreamrecorder.ai
Исследователь Синькай Ю из DeepSeek разработал nano-vLLM, облегченный движок для работы с LLM. Он написан на Python вручную, объемом всего 1,2 тыс. строк кода, и воспроизводит основные функции оригинального vLLM.
nano-vLLM поддерживает кэширование префиксов, тензорный параллелизм, компиляцию с torch.compile и CUDA Graphs. Это позволяет достичь скорости, близкой к vLLM, но без сложных алгоритмов планирования задач или динамического батчинга. Зато разработчики получают четкую архитектуру в одном месте: токенизатор, управление кэшем и механизм выборки токенов. Проект подойдет для исследований, обучения или небольших систем, где важна простота.
github.com
По данным источников, OpenAI разрабатывает продвинутые функции для ChatGPT, превращая его в платформу для командной работы. Пользователи смогут группировать чаты, загружать файлы, использовать голосовой ввод и сохранять контекст диалогов. Все это позиционируется как альтернатива офисным пакетам. Мобильное приложение получит поддержку загрузок и переключения моделей на лету.
Этот проект, задуманный в 2024 году, активно развивается сейчас и OpenAI видит в ChatGPT «операционную систему для жизни», интегрируемую в рабочие процессы. Microsoft, поддерживающий стартап, теперь рискует стать конкурентом самому себе, а Google получает нового серьезного оппонента.
theinformation.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Поступи в магистратуру с грантом до 1,2 млн рублей
Современная магистратура – это не пары для галочки, а возможность продвинуть карьеру и стать сильным специалистом.
Центральный университет ведет набор на пять программ магистратуры по популярным ИТ-направлениям. Партнеры – ведущие компании на рынке РФ: ВТБ, Сбер, Т-Банк, Яндекс, Avito, Ozon, Х5 Tech и другие. 62% магистрантов ЦУ находят новую работу с ростом зарплаты в 1,6 раза уже на первом курсе. Средняя зарплата – 195 тысяч рублей.
Обучение можно совмещать с работой, а поступить – уже с третьего курса.
Стань частью новой волны специалистов и получи грант на обучение до 1,2 млн рублей.
И подавай заявку на поступление уже сейчас.
Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanykoZm7w
Современная магистратура – это не пары для галочки, а возможность продвинуть карьеру и стать сильным специалистом.
Центральный университет ведет набор на пять программ магистратуры по популярным ИТ-направлениям. Партнеры – ведущие компании на рынке РФ: ВТБ, Сбер, Т-Банк, Яндекс, Avito, Ozon, Х5 Tech и другие. 62% магистрантов ЦУ находят новую работу с ростом зарплаты в 1,6 раза уже на первом курсе. Средняя зарплата – 195 тысяч рублей.
Обучение можно совмещать с работой, а поступить – уже с третьего курса.
Стань частью новой волны специалистов и получи грант на обучение до 1,2 млн рублей.
И подавай заявку на поступление уже сейчас.
Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanykoZm7w
Media is too big
VIEW IN TELEGRAM
🆕OpenAI готовит выпуск мощной open-source модели для локального запуска
● OpenAI планирует выпустить поразительно мощную open-source модель, которую можно будет запускать на собственном оборудовании
● По словам Сэма Альтмана, мы находимся в исключительном моменте: производительность новых моделей (например, o3) резко выросла, но продукты на их основе ещё не догнали
● Даже без дальнейшего роста возможностей моделей существует огромный «продуктовый профицит» — множество идей ждут воплощения
● Ризонинг модели открыли новую клетку в «периодической таблице» AI, и разработчики только начинают её исследовать
Обещанного 3 года ждут, как говорится
● OpenAI планирует выпустить поразительно мощную open-source модель, которую можно будет запускать на собственном оборудовании
● По словам Сэма Альтмана, мы находимся в исключительном моменте: производительность новых моделей (например, o3) резко выросла, но продукты на их основе ещё не догнали
● Даже без дальнейшего роста возможностей моделей существует огромный «продуктовый профицит» — множество идей ждут воплощения
● Ризонинг модели открыли новую клетку в «периодической таблице» AI, и разработчики только начинают её исследовать
Обещанного 3 года ждут, как говорится