Ada протестировала четыре метода векторного представления на 15 000 запросах и разделила извлечение данных для ИИ-агентов на два контура. Онлайн-поиск на Cohere Embed и Amazon SageMaker AI показал медиану 77 мс и 90,7% полноты поиска в первой десятке результатов. Для пакетной индексации Cohere Model Vault дал заявленные 2,7× больше пропускной способности на доллар, а сжатие уменьшило векторное хранилище в 4 раза.
Контекст и задача
Поэтому команда Ada сформулировала три требования к онлайн-контуру: релевантность найденных материалов, попадание в жесткий бюджет задержки и работа в нескольких регионах при многопользовательской нагрузке. Отдельно существовала пакетная задача — индексировать и переиндексировать тысячи клиентских баз знаний, некоторые из которых содержат десятки тысяч статей.
Исходная гипотеза состояла в том, что одна конфигурация сможет одинаково эффективно обслуживать обе нагрузки. Тест ее опроверг: быстрый поиск в живом диалоге и массовая обработка документов потребовали разных способов развертывания.
Решение: два контура вместо одного
Онлайн-поиск для голосового и текстового диалога
В этом контуре Ada заявляет:
- 90,7% полноты поиска в первой десятке результатов — доля запросов, для которых релевантный результат оказался среди первых десяти;
- 77 мс медианной задержки извлечения данных — время только поискового шага, а не полного ответа ИИ-агента.
Медиана не показывает «хвост» распределения: p95 и p99 не опубликованы. Не указаны модель и версия Embed, тип и число инстансов SageMaker AI, регионы, объем индекса и конкурентный baseline. Поэтому 77 мс нельзя использовать как универсальный SLA или прогноз для другой компании.
Офлайн-индексация баз знаний
Абсолютная стоимость, число документов в тесте, период измерения и формула throughput-per-dollar не раскрыты. Показатель описывает эффективность конкретной конфигурации Ada, а не цену Model Vault для любого клиента.
Сжатие векторного индекса
Практически это означает, что сжатие следует проверять не только по среднему retrieval-метрику, но и по критическим категориям: редким запросам, длинным документам, нескольким языкам и знаниям, где ошибка дорого обходится.
Почему это важно для бизнеса
1. Один RAG-контур может скрывать конфликт целей
2. Выбирать нужно систему, а не только модель
3. Retrieval-метрика не равна качеству ответа
4. Сжатие стоит включать в экономический тест
Конкурентный и методический контекст
Кейс Ada показывает более надежный порядок действий: сначала отбор кандидатов, затем тест на собственных запросах и собственной инфраструктуре, после чего — отдельное решение для каждого профиля нагрузки. Однако опубликованных данных недостаточно, чтобы утверждать, что Cohere Embed будет лучшим вариантом для русского языка, локальных документов или инфраструктуры в России.
Практический шаблон пилота
- Разделите нагрузки. Зафиксируйте онлайн-поиск, пакетную индексацию и переиндексацию как разные сценарии.
- Соберите собственный набор. Возьмите реальные обезличенные запросы, добавьте редкие и критические случаи, определите релевантные документы.
- Сравните минимум три варианта. Держите одинаковыми корпус, фильтры, hardware-класс и правила измерения.
- Измерьте качество. Используйте recall@k или nDCG@k, а также точность ответа и долю успешных решений.
- Измерьте задержку. Смотрите медиану, p95 и p99 отдельно для retrieval и полного ответа.
- Посчитайте экономику. Хранение, вычисления, сеть, переиндексация, сопровождение и стоимость ошибок.
- Проверьте сжатие. Сравните качество в целом и в критических сегментах до и после компрессии.
- Запустите ограниченный трафик. Оставьте возможность отката и ручной эскалации.
Почему это важно
«В клиентском сервисе важна не рекордная метрика сама по себе, а устойчивость всей цепочки: поиск, ответ, решение вопроса и понятная эскалация человеку. Разделение онлайн- и офлайн-контуров полезно, если компания заранее измеряет пользовательский эффект и стоимость поддержки двух архитектур».
— Леонид Митин, Руководитель клиентского сервиса Команды, Komanda.ai
Что дальше
1. Cohere — “Ada finds the right ingredients for faster, more efficient AI agents”, 27 октября 2026 года; точное время не указано — первичный vendor-authored кейс с данными Ada.
2. Ada — Unified Reasoning Engine, 18 февраля 2026 года — контекст продукта и компании; не подтверждает результаты октябрьского теста.
3. Amazon SageMaker AI — официальный контекст платформы развертывания; не подтверждает метрики Ada.
4. AIMultiple Embeddings Index, версия 1.1 от 1 октября 2026 года — независимый сравнительный контекст; методика и метрики не сопоставимы напрямую с тестом Ada.
