[Перевод] Ваша интуиция об ИИ сломана — и у OpenAI тоже

Даже лучшие инженеры ИИ продолжают совершать одну и ту же ошибку

Человеческий мозг эволюционировал, чтобы отслеживать камни, инструменты, животных, лица - вещи с краями. Вещи, которые толкают другие вещи. Это служило нам верой и правдой сотни тысяч лет.

И большинство из нас всё ещё неправильно применяют эту интуицию к науке и технологиям, включая то, как мы думаем об ИИ. Даже высококвалифицированные инженеры делают то же самое: пытаются впихнуть квадратные колышки в круглые отверстия, а потом не могут понять ошибки в ИИ-системах, которые строят.

Это несоответствие между интуицией и наукой не ново.

Рисунок 1. Сдвиг интуиции Физика отказалась от объектного мышления столетия назад - тепло стало полем, давление стало ограничением, движение стало эволюцией состояния. ИИ требует такого же сдвига. Текущие подходы рассматривают модели как контейнеры знаний, а ошибки - как баги для исправления. Геометрический взгляд признаёт, что смысл живёт в структуре переходов, галлюцинации возникают из нарушенных инвариантов в плоском пространстве, а масштаб усиливает ту геометрию, которая у вас уже есть. Уравнения не становятся проще. Но интуиция наконец соответствует феномену.

Возьмём, например, историю физики: тепло, жидкости и турбулентность выглядели как магия веками, потому что мы пытались понять их как вещи - субстанции, которые двигались, толкали и накапливались. Но затем мы обнаружили, что интересные штуки работают не так, и отказались от этой картины объектов и вещей (см. Рисунок 1 выше).

Тепло стало полем. Давление перестало быть силой, на которую можно указать, и стало ограничением в уравнении. Движение больше не отслеживалось объект за объектом, а как трансформации состояния, распределённого в пространстве и времени.

Это значения, распределённые в пространстве, глобально ограниченные, локально управляемые. В тот момент, когда нам понадобились дифференциальные уравнения в частных производных, наши интуиции каменного века стали обузой.

Парадоксально, но даже среди образованных людей редко встречаются те, кто совершил этот прыжок, знаете, из-за того, как мы проходим через образовательную систему: заучивая формулы наизусть и сопоставляя паттерны экзаменационных вопросов. Это не помогло нашей интуиции соответствовать реальности. Наоборот, интуиция у многих образованных людей остаётся сломанной, и что любопытно - для большинства работ это не имеет значения.

Но те немногие, кто сделал домашнее задание правильно, они знают: как только этот сдвиг произошёл, тайна исчезла. Уравнения не стали проще, но интуиция наконец соответствовала феномену.

ИИ сейчас вынуждает к такой же корректировке, готовы мы к этому или нет.

ИИ - это не вещь, которая думает

Эта привычка видеть объекты повсюду глубоко укоренена в большинстве умов - даже у инженеров, что не должно удивлять, учитывая то, что мы уже обсудили.

Объектная интуиция создаёт людям проблемы - не только в программировании (ООП). Нейронная сеть воображается как коробка: данные входят, консультируются сохранённые знания, происходит рассуждение, и выходят ответы (см. Рисунок 2, диаграмма 1).

Эта картина неверна во всём, что имеет значение.

Нейронная сеть вообще не контейнер, это пространство состояний, геометрия - и смысл не живёт внутри токенов или весов так, как мы это воображаем.

Он живёт в структуре переходов между состояниями. Знание, которое, как вы думаете, должно где-то храниться? Вы не найдёте его нигде, куда можете указать, потому что оно неявно заключено в форме самого многообразия (см. Рисунок 2 ниже, диаграмма 3).

Ошибитесь здесь, и вы потратите годы на отладку не того ИИ. Неудивительно, этот паттерн повторяется в каждом новом релизе ChatGPT, Claude, Gemini, Grok. Как ни назови: новые патчи, те же проблемы остаются.

Математики тоже неправы - даже с теорией категорий

Я знаю нескольких математиков в ИИ, которые клянутся теорией категорий как ответом почти на каждый провал ИИ... и они не дураки. Может, они не смешные, не общительные и не харизматичные, но они среди самых умных людей, которых я знаю. Конечно, они видели тот бардак, который выдаётся за «теорию» в большинстве статей по машинному обучению - бардак, который мы уже анализировали в предыдущих постах:

• Ad hoc архитектуры, обоснованные вайбами.

• Расплывчатые заявления о генерализации, которые никто не может уточнить.

• Бенчмарки, которые не доказывают ничего, кроме того, что кому-то повезло на тестовом наборе.

Так что, естественно, мои друзья-математики склонны видеть в теории категорий более чистую альтернативу (см. Рисунок 2 выше, диаграмма 2). Многие из вас точно понимают, о чём я, потому что категория в математике - это, в конце концов, точная комбинация:

1. Объектов как граждан второго сорта, понимаемых в первую очередь через то, как они участвуют в отношениях.

2. Морфизмов с композицией и тождествами как граждан первого сорта, структуросохраняющих преобразований, которые делают реальную работу.

3. Функторов, отображающих между категориями пространств представления.

4. Коммутативных диаграмм, которые действительно что-то значат: утверждения, которые можно записать и доказать.

Ладно, и они правы, что это лучше того, чем пользуется большинство людей: средний программист думает о нейронных сетях как о чёрных ящиках, которые магически учат паттерны, а средний ML-инженер думает в терминах снижающихся кривых потерь и гиперпараметров для перебора.

Да, большинство из нас согласны: теория категорий по крайней мере заставляет задавать настоящие вопросы: какая структура здесь на самом деле сохраняется? Какие преобразования легитимны? Когда мы можем сказать, что две архитектуры действительно эквивалентны, а не просто поверхностно похожи?

Но вот промах - лучше, чем у большинства - это не то же самое, что достаточно.

Теория категорий - это алгебра, а не геометрия, и это различие важнее, чем большинство людей осознаёт. Она говорит вам, когда две архитектуры вычисляют один и тот же класс функций, как преобразования компонуются, какие диаграммы коммутируют. Так что чистые вычисления? Да, это выбор любого программиста. И поэтому, из-за своей чисто вычислительной алгебраической природы, теория категорий - алгебра в ядре нашего текущего ИИ - не может сказать вам, сколько на самом деле стоит любой путь через сеть: в ней не заложена метрика, нет понятия расстояния, нет способа отличить дешёвый переход от дорогого или безопасную область от опасной.

Так что в итоге вы всё равно получаете галлюцинации ИИ, даже используя теорию категорий.

Возьмите это как парадигматический пример: две сети могут быть категориально идентичны: те же объекты, те же стрелки, каждая диаграмма коммутирует ровно так, как должна, и всё же одна постоянно галлюцинирует, а другая производит надёжные выводы (см. Рисунок 4).

Это стоит подчеркнуть: вычислительная алгебра (теория категорий) просто не может увидеть разницу. Пока выполняются композиция, тождество и ассоциативность, две нейронные сети могут вести себя очень по-разному и всё равно выглядеть эквивалентно на бумаге. Морфизмы компонуются, функторы сохраняют структуру. И всё же одна работает, а другая нет - и у теории категорий нет способа объяснить, почему.

Что теория категорий делает правильно (и почему этого всё равно недостаточно)

Справедливости ради, теория категорий действительно делает одну вещь по-настоящему правильно - запомните это, казалось бы, невинное обычное слово, потому что оно критически важно: натуральность.

Конструкция натуральна, если она не зависит от произвольных выборов - и это важнее, чем может показаться. Переставили скрытые юниты? Тот же объект. Репараметризовали веса? Тот же объект. Сменили базис? Тот же объект. Если ваш «интеллект» исчезает в тот момент, когда вы меняете координаты, это никогда не было интеллектом. Это было совпадение в одном конкретном базисе, мираж, который испаряется, когда смотришь на него под другим углом.

Но вот проблема: натуральность без геометрии - это как карта без масштаба. Вы знаете, какие города соединены. Вы понятия не имеете, как далеко они друг от друга. Вы можете доказать, что два маршрута эквивалентны, но не можете сказать, какой из них идёт через горный хребет, а какой вдоль побережья. Алгебра гарантирует, что они заканчиваются в одной точке - геометрия определяет, прибудете ли вы измождённым или отдохнувшим, займёт ли путешествие час или неделю, выживете ли вы вообще (см. Рисунок 5 ниже).

Патчи OpenAI, Anthropic, Google и Grok не исправят галлюцинации - они просто закопают их глубже

К этому моменту должно быть ясно, что патчи ИИ той же неправильной математикой ничего не исправляют: они просто делают провалы труднее заметными.

И несмотря на все эти свидетельства, индустрия продолжает гнаться за той же мечтой о золотой лихорадке ИИ: лучшие данные, более плотный RLHF (обучение с подкреплением на основе обратной связи от человека), больше ограждений, конституционные ограничения - ну, знаете, что бы ни было модным в этом квартале. Кое-что немного помогает. В основном это заплатки на симптомы, замаскированные под прогресс, в то время как реальная проблема остаётся ровно там, где была.

Да, те, кто, к сожалению, вовлечён в эту динамику ИИ-индустрии, согласны: патчи делают болезнь труднее диагностируемой: например, RLHF делает модели лучше в убеждении людей, что они правы - даже когда они неправы. Уровень одобрения растёт, но уровень корректности за ним не следует. Многие провалы просто не ожидались, они прошли внутренние проверки безопасности незамеченными.

Другими словами, каждый новый патч делает модель более беглой, более уверенной, более убедительной. Ошибки не уходят... они просто закапываются глубже.

Вот что такое галлюцинации на самом деле, и это не то, что думает большинство

Это не ложь. Модель не ленится, не бунтует и не путается в том, что вы хотели. Галлюцинации происходят, когда геометрия пространства эмбеддингов не обеспечивает смысл, как мы видели в предыдущем разделе. Как только вы видите это так, становится ясно, почему обычные исправления не работают.

Подумайте об этом пространственно на минуту. В каком бы многомерном пространстве модель ни использовала для представления концепций, «собака» и «волк» должны жить близко друг к другу - они связаны, у них общие признаки, контексты, где появляется одно, часто допускают другое. Тем временем «собака» и «справедливость» должны быть далеко друг от друга, потому что семантически у них почти нет ничего общего. Пока всё хорошо.

Но вот где всё действительно разваливается. В плоском евклидовом пространстве ничто не мешает пути блуждать через произвольные точки на пути от одной концепции к другой. Вы можете идти от «собаки» к «справедливости» по прямой, и каждый шаг стоит ровно столько же. Метрике всё равно, что вы движетесь через семантическую бессмыслицу. Каждое направление разрешено. Каждый переход дёшев. Само пространство не имеет мнения о смысле.

И вот гадкая часть, на которую мы натыкаемся снова и снова: вы пытаетесь исправить вывод вашего ИИ-чата, а он просто игнорирует вас. Когда вы говорите модели это было неправильно, вы штрафуете конкретный вывод, а не перестраиваете геометрию, которая его произвела.

Лежащее в основе пространство всё ещё плоское. Модель не может рассуждать о пути, который она прошла - только о выводе. В результате она либо повторяет ошибку, либо проваливается немного по-другому в следующий раз. Коренная причина неизменна.

На этом этапе нет нужды спрашивать, что такое галлюцинация геометрически. У вас уже есть правильная интуиция: это модель, выбирающая путь, который она никогда не должна была бы смочь выбрать - если бы геометрия была правильной.

Да, в плоском пространстве ничто этому не мешает. Модель может перемещаться между несвязанными концепциями без дополнительных затрат, потому что само пространство не говорит этот путь неправильный. Каждое направление выглядит одинаково допустимым.

С правильной геометрией этих срезок бы не существовало. Форма пространства сделала бы бессмысленные пути дорогими или невозможными.

Вот почему обычные исправления не работают. Больше данных просто заполняет то же плоское пространство. Больше масштаба просто повторяет ту же структуру с более высоким разрешением. Эти ошибки - не глюки: они - следствия того, как построено пространство.

И всё же - именно на это индустрия удваивает ставки.

Масштаб делает хуже

Прямо сейчас большая ставка индустрии (на сотни миллиардов долларов) в том, что масштаб всё исправит. Окей, мы уже страдаем от всё более раздутых LLM: больше параметров. Больше данных. Больше вычислений - в надежде, что продолжающееся масштабирование заставит проблемы исчезнуть.

Это неправильный тип линейного мышления, применённый к нелинейной системе.

Если геометрия плоская, масштабирование ничего не исправляет; оно просто делает проблему больше. Вы даёте модели больше параметров, чтобы выразить ту же сломанную структуру с более высоким разрешением. Галлюцинации не исчезают; они просто звучат более гладко и убедительнее, но всё ещё неправильно. Спагетти становятся длиннее. Они не становятся прямее.

Понимание того, как на самом деле работают языковые модели, помогает использовать их эффективнее - там, где они сильны, и с осторожностью там, где могут ошибиться.

BotHub открывает доступ к современным AI-моделям без барьеров!

Для доступа к сервису не требуется VPN, и можно использовать российскую карту.

Подводя итог

Физика усвоила этот урок трудным путём: реальности плевать на ваши интуиции. Она работает на ограничениях, инвариантах и геометрии. Когда физики перестали думать о тепле как о субстанции и начали обращаться с ним как с полем, термодинамика внезапно обрела смысл. Тайна исчезла не потому, что они стали умнее - она исчезла потому, что их интуиция наконец соответствовала структуре феномена.

ИИ - тот же урок, разыгрывающийся прямо сейчас. Будущее не в больших моделях. Оно в моделях с правильной геометрией.

Не больше данных, а больше структуры.

Лучшие интуиции, заземлённые в правильной математике.

Как показала эта история, интеллект - это не что-то, что система постепенно накапливает через обучение. Это то, что геометрия либо позволяет, либо запрещает.

Без структуры ИИ не обретает интеллект. Он обретает когнитивное трюкачество - нечто, что становится всё гаже и разочаровывающе с каждым новым релизом. Пора играть в правильную математическую игру.