Как будем тестировать AI-консультанта?
Три уровня проверки: контрольные вопросы, нагрузочное и продолжающееся автотестирование.
Очень хочется видеть и быть уверенным в том, что AI-консультант (виджет) отвечает на вопросы так, как нужно. Значит, это нужно проверить. Для этого мы используем три подхода:
Вопросы Questions
На странице Вопросы (Questions) мы вводим все заранее подготовленные вопросы (со временем число запросов будет расти), нажатием кнопки «Launch» отправляем вопрос и наблюдаем ответ AI-консультанта в окне Response.
Убеждаемся, что ответ нас устраивает, либо начинаем предпринимать меры, чтобы улучшить качество ответа.
Нагрузочное тестирование Load testing
Что будет, если придёт сразу много запросов от пользователей? Выдержит ли AI-консультант (виджет)? Сможет ли он правильно отвечать с приемлемой задержкой?
На эти вопросы отвечает нагрузочное тестирование. Мы смоделируем одновременное получение запросов от нескольких пользователей (этот параметр настраивается). Мы будем понимать, сколько одновременных сообщений выдерживает система.
Продолжающееся автотестирование Ongoing testing
Чтобы быть уверенным, что наша система всегда на связи и адекватно отвечает с приемлемой задержкой, мы запустим постоянное автотестирование. Через определённый промежуток времени наша система будет сама себе отправлять запросы, которые указаны на странице Вопросы (Questions).
Результат (ответ) будем запоминать в базе данных и строить график. Таким образом, у нас будет показатель — насколько наша система работала правильно в тот или иной момент времени.
