Как тестировать приложение до запуска: опыт Yoolip AI

Через пару дней ровно месяц с момента, как я написал первую строчку кода в Yoolip AI. Сейчас это рабочее приложение: пользователи с суммарным оборотом магазинов на полмиллиарда рублей в месяц и стабильная выгрузка. Сумма не приукрашена, это аналитика всех подключённых магазинов. И это отличный пример, почему подобные продукты нельзя сразу запускать в продакшн.

Почему нельзя сразу запускать в продакшн

В начале марта я не мог найти способ выгрузить данные из рекламного кабинета Ozon так, чтобы всё работало стабильно. Потратил время, в моём магазине заработало. А когда подключили первых закрытых пользователей, они сразу показали проблемы, которые я даже представить не мог. Например, если у человека включено объединение карточек на Ozon, выгрузка через API должна работать иначе. До такого добираешься только через тестирование.

Зачем набирать пользователей волнами

Первых пользователей я набирал по различиям магазинов: у кого-то оборот 10 миллионов, у кого-то миллион, у кого-то есть премиум-подписка, у кого-то нет. Начинал с 10 человек. У крупных компаний есть тестировщики и фокус-группы. Когда делаешь всё в одиночку, такой роскоши нет. Поэтому берёшь реальных пользователей, чья активность ломает продукт и находит новые проблемы. Начинали с 10 человек и чинили. Перешли к 50 и чинили снова, уже ежедневные выгрузки.

Что ломается на реальных пользователях

Сегодня у нас почти 100 тестовых пользователей, это клиенты других наших продуктов, которым мы бесплатно раздаём доступ. И чиним новые проблемы. Например, Ozon начал блокировать наш IP, потому что выгрузку с одного адреса запрашивали больше 100 магазинов. Мог ли я знать это на старте? Нет, потому что нормальной документации у Ozon нет. Если проще: нейросеть сама за тебя этого не сделает. Поток пользователей нужно собирать так, чтобы ломать продукт постепенно и при этом успевать спать, есть и работать.