Следующий непростой вопрос на понимание работы GPT, но очень важный - динамика Attention-матриц трансформеров. Любой кто профессионально работает с GPT должен ее понимать четко, несмотря на сложность.

Ответ на вопрос: "Из чего состоит двигатель?" На самом деле GPT делает очень хитро. В сам вектор двигателя GPT не может включить его компоненты как другие вектора, поэтому при любом анализе GPT на деле без его авторекурретности (вывода по 1му токену) не смогла бы работать вообще.

Просто в этом случае GPT динамически меняет корреляцию двигателя с другими понятиями по мере вывода токенов вам. Сначала более вероятно "цилиндр", потом корреляция переключается на другие компоненты.

Чем больше у вас токенов в ответе, тем больше GPT может "поиграться состояниями". Это глобальная штука. Например, иерархия якорей для spares attention также динамическая из-за этого, поэтому Top1000 важных якорей определяется в динамике по мере вывода GPT и так GPT может обрабатывать более сложные структуры, чем от простых промптов

Я заметил, что есть темы в GPT, которые очень мало кто понимает даже из тех кто разрабатывает сами нейросети. Одна из таких тем - позиционные кодировки GPT

В рамках этого поста я вряд ли смогут изложить 2 часа из своего учебного курса, но затрону их основной СМЫСЛ

50% "мозгов" у GPT именно в позиционных кодировках, т.е. половина (!) семантики вектора GPT именно они, что указывает на их огромное значение.

На самом деле их смысл в том, чтобы определять в какие периодические структуры входит данный вектор. Например, в обычном тексте вектор имеет позицию в предложении, абзаце и главе. Это 3 позиционных кодировки. Для программного кода это вложенные синтаксические структуры.

Позиционные кодировки все цикличные - именно они есть база "семантического фрактала" GPT при генерации ответа вам

Сложность понимания позиционных кодировок еще в том, что у них есть "интерференция семантики", т.е. GPT очень часто использует сразу 100-200 позиционных кодировок, чтобы свободно управлять периодом синтаксиса от семантики

В голосовании по темам меня просили затронуть также вопрос крайне профессиональный, что опять же могу раскрыть нормально только на обучении, но подскажу "куда рыть"

За головками внимания стоит Перцептрон - классическая нейросеть из 2х слоев, которая обычно заполняет вектор "фактами", если внимание нашло КАМАЗ, но признаки КАМАЗА заполняет Перцептрон.

Сложность в выделенном мной компоненте трансформера, где ответ 90 головок внимания "сплющивается" в один вектор и по факту без профессионального промптинга Перцептрон не сможет понять сколько Камазов было в исходной фразе. Однако! Если вы напишите "Красный КАМАЗ" и "Черный КАМАЗ", то Перцептрон сможет понять и что КАМАЗов было два и даже где примерно они в исходной фразе по позиционным кодировкам.

Кто догадался как это вышло пишите в комментариях, покажите свой IQ 😎

Бесплатно порекламирую Todoist как определённо крутейший таск-мендежер на рынке. Для команды до 5 человек он бесплатный. Вообще говоря, у меня есть YouTube канал почти на 14.000 подписчиков, там обучилось более 2х миллионов человек, больше по тематике Управления Проектами.

Последнее время не особо видео публикавал, но думаю скоро возобновлю серии видеоуроков, но касательно Todoist реально нимба, коллеги. Это конечно не календарно-сетевая система, но сейчас когда ко мне ломанулась целая толпа учится он меня просто спас, т.к. управление календарем просто блестящее и как Канбан доской и через "Предстоящие". Фильтры и категории. Очень хорошие мобильные виджеты.

Через Zapier можно интегрировать хоть с JIRA, да и любой ИИ прикрутить, кому хочется "круто".


Рекомендую. Старое видео с обзором.

https://youtu.be/80I4RsD3CxE

Интересно как повлияло массовое внедрение вендоров ИИ мультиязыкового тест Aider Poliglot. Еще 1 год назад генерация на 1С была очень низкого качества, найдете легко статьи по насчет этого на Habr.

У меня клиенты на 1С активно начали внедрять генерацию кода с ИИ для решений на 1С с осени, но на деле через Питон/SQL, чтобы там делать очень сложные трансформации данных, которые в 1С просто очень медленно работают, т.к. обработка 1С выгружала в ИИ код данные 1С, потом часто SQL-запросами из Питона быстро обрабатывала, потом загрузка в 1С обратно. Это все равно было быстрее в 10+ раз аналогичного кода в 1С в ряде задач и по скорости его работы и по созданию самого кода.

Однако с момента внедрения теста Aider Poliglot, хотя он не включает в себя 1С явно, сразу произошел скачок качества и иногда код с ИИ на 1С генерируется отчасти лучше чем под какой C# из теста.

Вероятно причина в довольно медленном развитии 1С и высокой консервативности его синтаксиса, для ИИ стабильность синтаксиса важнее языка

Насчет обсуждения в чате как прибираться в "корпоративных помойках"

Не очень умная идея сделать RAG-помойку просто как "ИИ-свалку". Нечто большего, чем очень кривой ИИ-поиск не получите

В реале тут нужно более основательно подойти и компании нужно вложить больше ресурса в работу с данными, но эффекты будут другого уровня.

Нужно сначала получить кластеры данных (обведены у меня). Это отдельный промптинг и исследование.

Потом накладываете запрет ИИ на расширение классификации и ИИ прочесывает все эти Excel и Word завалы мусора и классифицирует их. После этого можно растаскать просто тексты по доменам знаний и грузить по 1 млн. токенов на нормальный анализ в Gemini без RAG-порнографии.

Для Excel-табличек получается нормальный набор данных для загрузки в хранилища данных (DWH), что позволяет по ним работать нормальной отчетностью, в том числе туда ИИ может делать и сам SQL-запросы для дешбордов вам.

Все это сценарий теста LOFT, который стандарт для Open AI, xAI и Google.

RAG-помойка как раз кулибинщина

Давайте разберем в чем была инновация DeepSeek, который первый стал применять "блуждающий" CoT, вместо "стабилизационного" CoT как у Gemini

В случае Gemini как раз CoT очень понятный: план ответа и пункты просто раскрываются в ответе. Однако CoT у DeepSeek выглядит хаосом без структуры, но только выглядит

На деле он состоит из многочисленных "токенов переоценки ситуации". Когда DeepSeek генерирует токены типа "Однако" или "Проверю", то в этот момент его механизм внимания делает переоценку всему написанному ранее и далее его монолог может пойти в новом направлении. Иными словами, DeepSeek, начиная CoT, не знает сам что напишет, а многократно меняет направление сканирования решения. Как легко догадаться, DeepSeek тут имеет преимущество над другими вендорами ИИ, если вам нужно найти какое-то решение между вариантами.

Gemini так не умеет через встроенный CoT, поэтому я на обучении показываю, как ему искусственно промптами вызвать анализ вариантов, штатно Gemini варианты ищет плохо - он сделан под надежность

Сказать, что Claude попал в большую зону риска, когда обновился Gemini и отобрал корону "царя горы" у Claude в Java Script на Web Arena - ничего не сказать. Anthropic почти под угрозой заката.

Для начала Web Dev Arena - очень объективный тест. Там реально запускают приложения и их можно посмотреть и проверить. Давно известно, что Claude сильно просел в ответах просто по аналитике за пределами программирования, в общем рейтинге Арены давно не входит и в TOP 10 вендоров ИИ.

Dario Amodei (Anthropic CEO) нам рассказывал истории, что Claude "для программирования", но точнее для JS за счет своих артефактов, которые дали ему базу обучения под него

Gemini ударил в самое сердце бизнеса Anthropic - разработчиков фронтэнедов. Однако тренд еще скользит в сторону агентов программирования, как я на обучении показываю, а они уже работают и с ТЗ, кроме кода. Но для работы с ТЗ нужны навыки работы с текстом, где Claude уже слаб.

Я бы рекомендовал кто на Claude подумать о "Плане Б", т.к. судьба Netscape вполне вероятна

Заметил в чате, что не все понимаю как использовать рейтинг Арены для подбора ИИ по свои задачи.

Обычному пользователю ИИ на деле важны:

Hard Prompts - сложные запросы (не обращайте внимание на Style Control - это для программистов)

Longer Query - длинный контекст, у опытного пользователя много данных в чате

Creative Writing - это важно тем, кто генерирует контент для сайтов или презентаций

Если вы заставляете ИИ работать по инструкции в режиме агента или делаете многошаговый промптинг как я, то вам важны:

Instruction Following - следование инструкции
Multi-Turn - многоходовые промпты

Для программистов важны Coding и Math, но Арена в этих рейтинга оценивает код только по "внешней оценке" разработчиков даже без его запуска, поэтому очень серьезно к этому бы не относился. Плюс там попадает много вопросов не на создание кода, а на пояснения концепций программирования в справочном режиме

https://lmarena.ai/

Вероятно ко Дню Победы разработчики Arena перенесли в https://beta.lmarena.ai многими любимый llama-4-maverick-03-26-experimental. Напомню, на новой версии Арены уже сохраняются ваши диалоги с ИИ и она работает без VPN

Эта версия ИИ по факту продолжает быть в Топ 3 лидеров рейтинга, т.к. хотя ее и исключили за недоступность по API и в "коробке" у Цукенберга, но этот ИИ, который умеет работать на высокой температуре без галлюцинаций, показывает мощную проницательность в технические концепции и великолепные результаты по литературной генерации контента для тех же сайтов.

Интересно, что среди топовых ИИ только новейший
Gemini-2.5-Pro-Preview-05-06 побеждает в личной схватке Experimental, остальные или 50/50 или проигрывают. Это видно по "Fraction of Model A Wins for All Non-tied A vs. B Battles"

Если сравнить парные дуэли ИИ на Arena, то можно заметить насколько мощен новый Gemini Pro 2.5, который только что обновился. По факту Open AI не в состоянии конкурировать с Google линейками Chat GPT 4.0/4.5. Проигрыш Open AI просто катастрофический для топового соревнования 40% vs 60%+

Что-то еще может у OpenAI его o3, но тоже уступает Gemini.

Конечно, это оценки людей, тут есть несовершенство таких моделей, но на обычные тесты легче делать подтасовки специальным обучением или вообще нарушением порядка тестирования самим вендором как Claude "проходил" SWE Bench по правилам придуманным Anthropic, но с такими фокусами нужно тестироваться в компании GigaChat и Yandex GPT, где также подгоняют тесты под себя

PS. На картинке проценты побед/проигрышей в личных парах дуэлей ИИ

На скриншоте бурный восторг Claude 3.7 в Cursor IDE, после того как я ему дал семантические графы по коду. Почему у вас в Курсоре по факту "слепой ИИ", если вы не умете делать семантические графы сами?

Дело в том, что сам Cursor для ИИ дает семантический инструмент осознания всего кода только через инструмент codebase_search с примерно такими вызовами:
{
"name": "codebase_search",
"parameters": {
"query": "Как реализована авторизация пользователя?",
"target_directories": ["src/*"],
"explanation": "Ищем логику авторизации"
}
}

Это векторная база по коду, которая формируется лишь по смыслу локальных блоков кода, но с учетом комментариев. Никакого навигатора по бизнес-логике и даже четкого понимания взаимодействия модулей кода такой инструмент НЕ ДАЕТ.

Либо вы сами дадите Курсору семантические графы по ТЗ, библиотекам и общей архитектуре кода, либо там у вас не ИИ, а близорукий дед.

Поэтому на построении семантических графов на обучении я посвящаю довольно много времени

Если вы не сделали семантическую разметку кода якорями в Cursor, то вы на грани катастрофы.

Дело в том, ИИ использует инструмент edit_file в Cursor с такими вызовами.

{
"name": "edit_file",
"parameters": {
"target_file": "src/auth/login.js",
"instructions": "Меняю вызов validatePassword() на новую версию",
"code_edit": "// ... existing code ...\nconst hash = await validatePassword(newSalt, input);\n// ... existing code ...",
"blocking": true
}
}

Если не заметили, ИИ при создании патча не пишет "номер строки" для редактирования, т.к. из-за позиционных кодировок GPT просто их не понимает. Вместо этого, ИИ обычно пишет довольно абстрактные инструкции мелкой быстрой нейросети-дурачку в Cursor, которая натренирована разгадывать такие ребусы. Как легко догадаться, Cursor легко развалит вам код, если патчер не понял запрос от GPT

Если есть родная для GPT система якорей, что ИИ начинает ей пользоваться для указания места патчей, поэтому я и уделяю время обучению таким разметкам не просто так

Снова бурные восторги Claude 3.7 и Gemini Pro от моих семантических разметок в Cursor, но в данном случае логов. Строго говоря, ИИ в Cursor не может читать вообще нормально лог длиннее 100 строк, если вы не сделаете ему семантические разметки.

Дело в том, что код и логи Cursor читает "чанками" по 100-200 строк примерно через инструмент read_file. Гарантированно читается только 100 первых строк. Далее ИИ может применять текстовой или семантический поиск для считывания нужных мест в файле. Если код или лог не имеет семантических маркеров, то ИИ в Cursor вами "ослеплен" и ИИ часто не может найти релевантные части лога.

Важный еще момент. Большие логи всегда из Cursor копируйте в Gemini на анализ целиком в его супер окно 1 миллион токенов, но Gemini также вам не поможет без семантической разметки логов, т.к. для него лог без якорей просто "хаотическая энтропия текста"

Обычно я обучаю семантическим разметкам логов по практикам LOFT с модификациями под задачи ИИ именно на локализацию нужного места в логе

Логирование с ИИ крайне серьезный вопрос в vibe coding, т.к. по факту главный инструмент отладки кода для ИИ.

Обычно ИИ может пользоваться куда более большими логами, чем кожаные. Совершенно обычный прием - это анализ тысяч строк лога просто между мелкими итерациями отладки. Однако кроме поиска по логу для ИИ очень важный момент совместимость лога с распределенным вниманием ИИ (sparse attention). При загрузке лога в Gemini это нужно сразу же, при работе в Cursor части лога вклеваются также в активный контекст ИИ и он взрывоподобно растет, поэтому ИИ очень важно, чтобы ваш лог хорошо встраивался в его общий семантический граф контекста или ИИ перестанет вас толком понимать из-за 100-200к токенов хаоса в его анализе.

На обучении я поэтому обычно еще обращаю внимание на интеграцию лога и семантической разметки самого кода по якорям, т.к. в Attention-матрицах трансформеров они должны склеиваться сразу в единое целое

Очень серьезный момент по Cursor и вообще RAG-подобных сред разработки такого класса с семантическим поиском.

Строго говоря, системы как Cursor уже рассчитаны на то, что разработчик владеет техникой семантической раскраски векторов функций и классов.

Дело в том, что в Cursor нет call-graph вызовов функций между модулями. Чтобы понять связь векторов двух функций между модулями Cursor на 100% полагается на то, что вектора эти близки в пространстве смыслов GPT, т.е. вы умеете насыщать их размерности семантики. Если вы это не умеете, то большой код для Cursor без тех же графов выглядит просто как россыпь малосвязанных алгоритмов.

Сам Cursor до составления векторной базы даже с текстом алгоритмов не применяет полный синтаксический разбор Abstract Syntax Tree (AST), вместо этого Cursor использует просто... tree-sitter от подсветки синтаксиса кода в окнах редактирования 😆 и им помечает просто типы элемента текста. Далее GPTсоздает изолированные чанки векторов примерно по 100 строк.

Довольно интересный момент, что новый Папа Римский взял себе имя Лев XIV из-за Искусственного Интеллекта и считает, что человечеству грозит массовое обнищание в виде толп безработных, а церковь станет для них утешением от сокрушения ИИ старого образ жизни.

Дело в том, что новый Папа видит себя приемником Льва XIII, он известен тем, что его папство пришлось на Промышленную Революцию XIX века, что сопровождалось массовым обнищанием людей, которые не увидели в ней угрозу своему существованию и не сменили вовремя специальность.

Лев XIII активно утешал нищих безработных в церкви, по мнению нового Папы сейчас получится ровно такой же эффект и страшно ошибаются те, кто думают, что "ИИ - просто еще одна ИТ технология".

Интересно также, что новый Папа по образованию математик и неплохо разбирается в тензорной математике, которая основа GPT. Ждем нейросетку от Ватикана, не все же нам одним Православные ИИ делать 😎

https://www.theverge.com/news/664719/pope-leo-xiv-artificial-intelligence-concerns

Поясню типичную ошибку 95% пользователей GPT, которые не понимают, что ИИ на деле как "Юлий Цезарь" любит делать 90 дел сразу же.

Фокус в головках внимания (head attention) у трансформера. Их довольно много - 90 штук в 100 слоях, т.е. около 9000 головок внимания современной GPT как Gemini или Grok.

Головки внимания обычно имеют набор специализаций под свой семантический срез векторов. Иными словами, одни головки занимаются ТЗ, другие кодом, третьи - стройкой, четвертые - тестами и т.д. Существенный момент, что головки внимания работают ПАРАЛЛЕЛЬНО и даже если вы толкнете их всех, то GPT будет работать также быстро. Причем Перцептрону чем больше головок внимания "выстрелили корреляциями" в духе "тут есть ТЗ! тут есть код! тут есть тесты! это код про стройку!", тем Перцептрону лучше, т.к. он лучше понимает богатый контекст.

Если вы генерируете код, но не создали для ИИ ТЗ с точки бизнес-логики, то часть головок внимания ... просто не работают, а Перцептрон имеет бедную семантику

Грузите GPT как Цезаря!

Закончил я разработку семантической разметки под Cursor, уже сегодня буду обучать. На тестах даже на маленьких модулях крайне эффективно, хотя сделано под большой код 100+ тысяч строк.

Какие фичи
1. Интеграция с большим Gemini Pro в режиме Аналитика и Архитектора на нормальном контексте 1 миллион токенов с графами. В самом Cursor тот же Gemini работает в RAG на контексте не выше 10к токенов, что годится только для фикса багов и мелких фич

2. Сделан мэппинг по коду для Cursor под его инструменты с возможностью быстро чаще применять grep_search для быстрой RAG-навигации.

3. Вектора для сематической базы Cursor обогащены очень сильно через контракты и Use Cases в форматах AAG. Это семантический поиск codebase_search других возможностей и семантическая связь классов/функций как векторов (другая у Cursor и не работает, т.к. нет call graph).

4. Глубокая интеграция лога и кода через якорную прошивку для сверхбыстрой ориентации Cursor в источниках дефектов и фильтрации логов.

5. Нормальные патчи по якорям

Обновился самый авторитетный рейтинг популярности языков программирования TIOBE. Он строится через 25 поисковых движков типа Google. Обычно он коррелирует с тем, что сейчас ИТ разработчики изучают как язык на который переходят с текущего.

Виден взлет в космос Питона. Это целиком связано с ИИ, конечно. Питон - это язык №1 для генерации кода из ИИ. Также на Питоне обычно управляется большинство самых важных библиотек для ИИ.

На мой взгляд, с учетом быстрого скольжения почти в 100% автоматизацию создания кода на Питоне знания его программирования вторичные, но более-менее читать код сгенерированный стоит уметь, чтобы хотя бы примерно понимать, что ИИ делает.

https://www.tiobe.com/tiobe-index/