RLM: Почему ваш LLM-агент забывает цель и как это исправить

10 проблем LLM-приложений и как RLM их обходит — без изменения самой модели.

Теоретические основы https://habr.com/ru/articles/986702/

Что такое RLM?

Recursive Language Model — способ использования любой LLM через Python REPL и рекурсивные sub-LLM вызовы.

Обычный подход: [Огромный контекст] → LLM → [Ответ] RLM подход: [Данные в Python] → [Код] → [Sub-LLM] → [Ответ]

Придумал Alex Zhang (октябрь 2025). Я сделал production-ready реализацию.

Проблема 1: Context Rot 🧠💀

Суть: Чем больше контекст, тем хуже работает модель. На 150K токенов модель работает заметно хуже, чем на 10K — attention "размывается".

# Плохо: весь документ в контексте response = llm(f"Документ: {huge_doc}\n\nНайди X") # Context rot! # Хорошо: RLM — документ в Python, LLM пишет код rlm = RLM.from_ollama("llama3") result = rlm.run( context=huge_doc, # В REPL, не в промпте query="Найди X" ) # LLM видит только релевантные куски

Проблема 2: Lost in the Middle 📍

Суть: Информация в середине длинного контекста игнорируется. LLM хорошо помнит начало и конец, но "слепнет" посередине.

# RLM решение: нет "середины" # Данные подгружаются по запросу через Python code = """ # LLM сама решает что читать for chunk in split_document(data['doc'], 1000): if is_relevant(chunk, query): results.append(analyze(chunk)) """

Проблема 3: Goal Drift 🎯

Суть: Агент через 10 шагов забывает изначальную цель. Контекст засоряется, приоритеты сбиваются.

# RLM решение: каждый sub-LLM получает цель заново def solve(goal): plan = llm(f"Создай план для: {goal}") # Свежий контекст for step in plan: # Каждый шаг — новый sub-LLM со свежим контекстом result = llm(f"Цель: {goal}\nВыполни: {step}") return llm(f"Цель: {goal}\nСинтезируй результаты")

Проблема 4: Context Pollution 🗑️

Суть: Мусор накапливается — ошибки, промежуточные шаги, неудачные попытки. Всё это остаётся в контексте.

# RLM решение: только структурированные результаты results = llm_batch([ f"Обработай chunk {i}" for i in range(10) ]) # В main LLM попадает только: clean_results = [r.summary for r in results] # Без мусора

Проблема 5: Credit Assignment 📊

Суть: В long-horizon задачах непонятно, какое действие привело к успеху/провалу. Нет причинно-следственной связи.

# RLM решение: явный trace через иерархию trace = [] for step in plan: result = llm(step) trace.append({ 'step': step, 'result': result, 'contribution': estimate_contribution(result, goal) }) # Теперь видно какой шаг на что повлиял

Проблема 6: Hallucinations 🌈

Суть: LLM уверенно генерирует неправду. "Австралия — столица Австрии!"

# RLM решение: верификация через внешние источники def grounded_answer(question): draft = llm(question) # Проверка через Knowledge Graph / Python facts = verify_with_kg(draft) if facts.has_errors: return llm(f"Исправь: {facts.errors}\n\n{draft}") return draft

Проблема 7: Catastrophic Forgetting 🔥

Суть: Fine-tune модель на задачу A — отлично. Fine-tune на задачу B — задачу A забыла!

# RLM решение: внешняя память H-MEM from rlm_toolkit.memory import HierarchicalMemory hmem = HierarchicalMemory() hmem.add_episode("Пользователь любит Python") hmem.add_episode("Проект на FastAPI") hmem.consolidate() # Модель не меняется, но "помнит" через внешнюю память def respond(query): context = hmem.retrieve(query) return llm(f"{context}\n\n{query}")

Проблема 8: Privacy Leakage 🔐

Суть: Чтобы LLM что-то анализировала — данные нужно отправить в промпт. Конфиденциальные данные утекают.

# RLM решение: данные обрабатываются локально def analyze_private(data_path): code = """ data = load(data_path) # LLM видит только агрегаты, не raw data stats = compute_stats(data) # Без PII! answer['content'] = llm(f"Интерпретируй: {stats}") """ return rlm.run(code)

Проблема 9: Cost Explosion 💸

Суть: Длинный контекст = много токенов = дорого. 100K токенов на GPT-4o = ~$1 за запрос.

# Плохо: весь контекст каждый раз cost = len(huge_context) * n_requests * price_per_token # $$$ # RLM: минимальный контекст каждый раз # Sub-LLM видят только нужные куски cost = avg_chunk_size * n_sub_calls * price_per_token # $

Реальная экономия: В 10-50 раз меньше токенов при работе с большими документами.

Проблема 10: Single Point of Failure 💥

Суть: Одна ошибка LLM ломает всю цепочку. Особенно критично для multi-step агентов.

# RLM решение: изолированные sub-LLM results = [] for chunk in chunks: try: result = llm(f"Обработай: {chunk}") results.append(result) except: results.append(None) # Ошибка изолирована # 9 из 10 успешных — задача всё равно решена final = llm(f"Синтезируй: {[r for r in results if r]}")

FAQ для тех, кто ничего не понял

Q: Что такое LLM?
A: Large Language Model — это ChatGPT, Claude, Gemini и подобные. Нейросеть, которая понимает и генерирует текст.

Q: Что такое "контекст"?
A: Всё что вы отправляете модели: ваш вопрос + история чата + документы. У моделей есть лимит — например, 128K токенов (~100K слов).

Q: Почему "больше контекста = хуже"?
A: Модель как студент на экзамене: дайте ему 3 страницы — запомнит. Дайте 300 — запутается и забудет главное.

Q: Что такое RLM простыми словами?
A: Вместо того чтобы засовывать весь документ в модель, мы даём ей Python. Она сама пишет код чтобы найти нужное, и видит только маленькие кусочки.

Q: Sub-LLM — это что?
A: "Дочерняя" модель. Как делегирование задачи коллеге — он делает свою часть работы со свежей головой.

Q: Это работает с ChatGPT?
A: Да, RLM-Toolkit работает с 75+ провайдерами: OpenAI, Anthropic, Google, Ollama, ваш локальный сервер.

Q: Мне нужно менять модель?
A: Нет! RLM — это обёртка. Модель остаётся той же, меняется только способ её использования.

Q: Сколько это стоит?
A: RLM-Toolkit бесплатный (Apache 2.0). Платите только за API модели, причём меньше — потому что меньше токенов.

Итого

Попробовать

pip install rlm-toolkit

from rlm_toolkit import RLM rlm = RLM.from_ollama("llama3") # 75+ провайдеров result = rlm.run( context=open("huge_file.txt").read(), query="Найди главные выводы" ) print(result.answer)

Ссылки:

• PyPI

• Документация

• Оригинал Alex Zhang

• Prime Intellect research