Умная камера распознавания

ARK делает сервис аудита розничной выкладки для производителей FMCG. Полевые мерчандайзеры обходят магазины по заданиям заказчика и проверяют, что товары стоят на своих местах, в нужном количестве и на правильном оборудовании. Заказчик по этим данным решает, куда отправить торгового представителя и за что предъявить претензию сети.

Компания обучила нейросеть распознавать товары на фото полки, но мобильного продукта вокруг неё не было. Моя роль — единственный продуктовый дизайнер: исследование, сценарий, прототип, тестирование и передача в разработку. Работал с продакт-менеджером, двумя ML-инженерами и тремя мобильными разработчиками. Проект занял четыре месяца в 2024 году, платформа — Android.

До проекта мерчандайзер фотографировал полку в общее приложение для отчётов, а потом вручную отмечал в чек-листе каждый SKU из задания. На одну точку уходило в среднем 24 минуты, из них 14 — на чек-лист: сверять фото со списком из 60–80 позиций приходилось стоя у полки и держа в голове, что уже проверено.

Ручная сверка давала ошибки. 18% отчётов возвращались на исправление, и заказчик получал данные по точке на следующий день, когда исправлять выкладку было уже поздно. Отдельно мешало ТЗ: примерно в каждом седьмом визите оборудование в задании не совпадало с тем, что стоит в магазине, и мерчандайзер не мог закрыть задачу.

Цифры — из выгрузки отчётов за квартал и разбора возвратов вместе с супервайзерами.

Я разобрал четыре прямых конкурента — Trax, YOOBIC, Repsly и BeMyEye — и два массовых продукта с распознаванием по фото, Google Lens и Amazon Visual Search. Вторые нужны были не как конкуренты, а как пример того, как приложение для миллионов людей объясняет, что и как снимать.

Сравнивал по пяти вопросам: распознаёт ли продукт SKU, подсказывает ли при съёмке, проверяет ли качество кадра, работает ли без сети и как собирает причины отсутствия товара.

Сценарий я строил на пересечении двух рамок: что требует модель и что реально может сделать человек у полки — стоя, часто одной рукой, при бликах холодильников и плохой связи. Для каждого этапа выписал цель, боли и решения. Четыре главные боли:

— на выборе оборудования ТЗ расходится с магазином, и задача заходит в тупик;

— при съёмке непонятно, как снимать, чтобы нейросеть распознала полку;

— после отправки неясно, что происходит с фото и можно ли идти дальше;

— при разметке мерчандайзер не знает, почему товара нет и как это выяснить.

Реальные мерчандайзеры были недоступны, поэтому я провёл коридорное тестирование на коллегах, которые хорошо знают их работу: супервайзерах, аккаунт-менеджерах и двух бывших мерчандайзерах. Два раунда по шесть человек на кликабельном прототипе, собранном на дизайн-системе компании.

Три задачи: отснять оборудование, разметить отсутствующий товар и сообщить о несоответствии ТЗ. Время мерил по медиане полного сценария. Ограничение метода понимаю: коллеги не стоят у реальной полки, поэтому блики, шум и работу одной рукой этот тест не покажет.

Главное изменение после теста. Переключите тоггл: «Олдовое» — общий список, где отмеченные и неотмеченные товары перемешаны, «Новое» — разделённый список со счётчиком, в котором видно, сколько осталось до отправки. Во втором раунде полный сценарий занял 8:10 против 11:40 в первом, то есть на 30% быстрее.

Добился бы хотя бы трёх-пяти сессий с реальными мерчандайзерами в магазине ещё до пилота. Коридорный тест хорошо поймал логику экранов, но проблемы со связью и бликами мы увидели только на пилоте, когда менять сценарий было дороже.

Раньше позвал бы ML-инженеров в работу над сценарием ошибок: большая часть пунктов из «Когда нейросеть ошибается» появилась после первых сбоев, а не до них. Вывод на следующие проекты — в продукте с моделью внутри сценарий ошибок проектируется одновременно с основным, а не после.