PickFu

Опубликовано

Зачем мы создали Synthetic Audiences, и когда вам по-прежнему нужны реальные потребители

Synthetic Audiences предсказывает, что выбрали бы реальные люди, опираясь на многолетние реальные ответы в опросах PickFu. Рассказываем, зачем мы его создали, как он работает, насколько ему можно доверять и когда мы посоветуем обратиться к реальным людям.

Зачем мы создали Synthetic Audiences: реальные респонденты PickFu формируют синтетических респондентов, чьи десятки голосов подсчитываются
Содержание

ИИ сделал создание вариантов дешёвым. За минуту можно сгенерировать 40 вариаций изображения товара или 60 названий и слоганов. Но выбрать лучший по-прежнему трудно.

ИИ может лишь предположить, что сработает. Живое A/B-тестирование может занять недели, пока наберётся достаточно данных, и всё это время вы теряете конверсии, показывая худший вариант половине аудитории. Даже тестирование с реальными потребителями (наш основной профиль в PickFu) быстро начинает требовать времени и бюджета, когда вы тестируете и анализируете десятки вариантов на сотнях реальных людей.

Именно над этой проблемой моя команда работала большую часть года, и именно поэтому мы создали Synthetic Audiences.

Synthetic Audiences быстро предсказывает, что выбрали бы реальные люди, опираясь на многолетнюю историю ответов реальных участников панели PickFu. Теперь функция доступна всем пользователям PickFu — бесплатно, пока идёт бета-тестирование, так что попробуйте и расскажите нам, что думаете.

Это серьёзное изменение в том, что предлагает PickFu, и я знаю, что у многих наших клиентов возникнут вопросы. Ниже я расскажу, почему мы создали Synthetic Audiences, как это работает, насколько ему можно доверять и когда мы посоветуем вместо него обратиться к реальным людям.

Коротко

  • Synthetic Audiences быстро даёт ориентировочную обратную связь по вашим концепциям или вариантам на основе более чем десятилетней истории реальных выборов респондентов PickFu.
  • Используйте его, чтобы сузить длинный список или получить раннюю оценку концепции. Затем подтвердите решение с реальными людьми.
  • Результаты приходят меньше чем за минуту, и это бесплатно, пока идёт бета-тестирование.
  • Чтобы попробовать, попросите PickFu Agent запустить синтетический тест.

Почему мы это создали

PickFu существует с 2008 года. Это 18 лет помощи компаниям любого размера в принятии более удачных решений благодаря быстрой и доступной обратной связи от реальных потребителей — инсайтам, которые раньше были доступны только через медленные и дорогие исследования. Скорость всегда была в основе того, что мы делаем.

Этот фокус не изменился, но изменилась ситуация вокруг. Теперь команды могут попросить ChatGPT или Claude сгенерировать идеи и контент, и спросить, какой вариант сильнее или что подумали бы их клиенты. Это мгновенно и бесплатно, без отдельного теста и бюджета.

Проблема в том, что универсальные ИИ-инструменты на самом деле не могут предсказать, что выбрали бы реальные люди. Попросите такой инструмент побыть владельцем собаки — и он его выдумает. У него нет данных о том, что когда-либо выбирал хоть один реальный владелец собаки, и нет способа проверить, верен ли ответ. Без такой опоры вы получаете правдоподобно звучащий вымысел.

Мы по-прежнему считаем, что обратная связь от реальных людей — лучший способ проверить ваши продукты, бренд и креативы. Мнению настоящего человека нет полноценной замены.

Но мы понимаем, чем привлекателен более быстрый ответ. Составление опросов, набор респондентов, сбор ответов и анализ результатов — всё это требует времени и бюджета. Если бы ИИ мог надёжно предсказывать, как люди отреагируют на продукт, упаковку или рекламу, команды могли бы двигаться быстрее и проверять больше идей на ранних этапах.

Поэтому вместо того, чтобы отмахнуться от синтетических исследований, мы решили проверить, сможем ли построить версию, опирающуюся на что-то реальное.

И здесь у PickFu есть преимущество. У нас есть то, чего нет у универсального ИИ: многолетняя история реальных выборов реальных людей в прошлых опросах PickFu. Не только то, какие варианты они выбрали и отвергли, но и почему они сделали этот выбор — их собственными словами.

У нас также есть верифицированная потребительская панель. Это значит, что мы можем сверить синтетический ответ с тем, что реальные люди сказали в том же опросе. Большинство чисто синтетических инструментов этого не могут.

Поэтому мы начали с двух вопросов: если построить синтетических респондентов на всех этих данных, насколько близко они смогут подойти к ответам реальных людей? И где они будут отставать?

Мы также задали чёткую планку, прежде чем что-либо выпускать: опора на реальные данные, проверка на реальных ответах людей и честность в том, где это работает, а где нет.

Как это работает

Схема под названием «Почему это не просто вопрос ещё одному ИИ-боту»: реальные участники панели PickFu с примерно 200 характеристиками и прошлыми выборами в опросах формируют синтетических респондентов, чьи десятки голосов подсчитываются и сверяются с реальными людьми в сотнях прошлых опросов PickFu

Каждый синтетический респондент — это своего рода цифровой двойник людей из вашей целевой аудитории. Каждый из них строится на основе:

  • профилей реальных участников панели PickFu (около 200 демографических и поведенческих характеристик)
  • выборов, которые похожие на них люди сделали в прошлых опросах PickFu в той же категории, включая то, что они отвергли и почему

Поэтому результат показывает темы и закономерности для типа клиента, а не мнение одного человека.

Вот что происходит, когда вы запускаете тест:

  1. Вы выбираете аудиторию. Их более 300 в 25 товарных категориях. Например: владельцы собак в категории кормов для животных или женщины, ежедневно принимающие пищевые добавки.
  2. Агент показывает вам план (аудитория, вопрос, варианты, размер выборки) и ждёт вашего подтверждения.
  3. Мы случайным образом отбираем 30–50 синтетических респондентов и спрашиваем каждого по отдельности: с учётом этого профиля и этих прошлых выборов, какой вариант вы бы выбрали и почему?
  4. Мы подсчитываем голоса. Результат — это десятки отдельных предсказаний, а не мнение одного ИИ.

Запустить тест можно двумя способами:

  • Сравнение. Вопрос и 2–10 вариантов, текст или изображения. Вы получаете варианты, попавшие в сильную половину и слабую половину, и темы, объясняющие это разделение.
  • Одна концепция. Одна идея и один открытый вопрос. Вы получаете краткое резюме, основные темы, точки расхождения между разными группами и уточняющие вопросы, которые стоит задать.

Что мы узнали, пока создавали его

Кое-что нас удивило. Каждое из этих открытий изменило продукт.

Больше истории помогло с текстом, но навредило с изображениями. Каждый синтетический респондент опирается на прошлые ответы реальных участников панели. Поначалу мы давали каждому только 10 последних ответов, и в итоге лишь у 18% было достаточно релевантной истории для работы. Когда мы увеличили это число до 50 ответов, доля выросла до 96%, и синтетические респонденты стали заметно лучше предсказывать текстовые выборы — например, названия и слоганы. Но они стали хуже предсказывать выбор изображений. Дело в том, что они не видят прошлые изображения, а только их текстовые описания, и больше описаний добавляло больше шума, чем сигнала. Поэтому сегодня они используют до 50 прошлых ответов для текстовых тестов и 10 для тестов изображений. Мы бы сами до этого не додумались — это показало тестирование.

Синтетические респонденты соглашаются друг с другом чаще, чем реальные люди. Реальные люди непоследовательны и часто делят голоса. Синтетические респонденты более согласованны, поэтому склонны сходиться на одном и том же ответе. Например, если реальные люди разделились бы 60/40 между двумя вариантами, синтетические респонденты могут разделиться 96/4. Обычно они предпочитают тот же вариант, что и реальные люди, но представляют это как разгромную победу, хотя на самом деле разрыв гораздо меньше. Именно поэтому результаты показывают, какие варианты попали в сильную и слабую половину, а не победителя с точным процентом.

Выдуманные персоны не выдержали проверки. Первая версия режима «Одна концепция» использовала обобщённые персоны вроде «покупателя, который считает деньги». Они отталкивались от реальных данных, но остальные детали дорисовывал ИИ. Их ответы реже совпадали с ответами реальных людей, а создание каждой новой персоны требовало много ручной работы. Теперь оба режима вместо этого используют синтетических респондентов, построенных на данных реальных участников панели.

Один и тот же тест, запущенный дважды, не даст одинаковых результатов. Каждый запуск отбирает новый случайный набор синтетических респондентов, а ИИ-модели не дают каждый раз в точности один и тот же ответ. Какие варианты попадают в сильную и слабую половину и какие темы за этим стоят — должно оставаться примерно тем же. Точное распределение от запуска к запуску меняется, и это одна из причин, почему мы его не показываем.

Почему ему можно доверять (и насколько)

Не стоит доверять ему так, как вы доверяли бы 200 реальным людям. Но вот в чём на него можно положиться:

  • Он основан на том, что люди делали на самом деле. Синтетические респонденты предсказывают на основе зафиксированных выборов, а не догадок о том, что могла бы думать та или иная демографическая группа.
  • Это голосование, а не одно мнение. Подсчитываются десятки отдельных предсказаний, поэтому один странный ответ не определяет результат.
  • Мы проверяем свою работу. Мы сверяем его с сотнями прошлых опросов PickFu, где уже знаем, что выбрали реальные люди. В текстовых сравнениях он в большинстве случаев встаёт на ту же сторону, что и реальные люди, с изображениями — реже. Мы продолжаем тестировать и настраивать модели.
  • Синтетические и человеческие результаты никогда не смешиваются. Синтетический тест запускается только по вашему запросу, результаты помечены как синтетические и никогда не объединяются с результатами ваших опросов с реальными людьми.

Этого достаточно, чтобы отсеять слабые варианты до того, как вы потратите на них деньги. Но недостаточно, чтобы закрыть решение, на которое вы делаете ставку.

Когда использовать синтетику, а когда — реальных людей

Начните с Synthetic AudiencesОбратитесь к реальным потребителям
Сужение длинного списка (например, с 8 названий продукта до 2, которые стоит тестировать дальше)Чисто эстетические решения, например логотипы и финальная отделка креативов
Текстовые сравнения: названия, заголовки, слоганы, утверждения, подача ценыВсё совершенно новое, где нет прошлых данных для предсказания
Идеи на ранней стадии и быстрые итерацииЭмоционально нагруженные вопросы — деньги, здоровье, идентичность
Варианты изображений, которые явно отличаются друг от другаДорогие и трудно обратимые решения, например финальная упаковка или название, которое вы будете регистрировать как товарный знак
Когда нужен точный разрыв или доказательство для стейкхолдера, инвестора или ритейл-байера

Простое правило: синтетика решает, что тестировать дальше. Реальные люди решают, что делать.

Рабочий процесс: синтетика + люди

Схема под названием «Как синтетика встраивается в ваш рабочий процесс»: шаг 1 — сгенерируйте варианты, шаг 2 — отсейте с помощью синтетики, шаг 3 — доработайте прошедшие отбор, шаг 4 — подтвердите с реальными людьми. Синтетика решает, что тестировать. Реальные люди решают, что делать.

ИИ производит больше описаний товаров, вариаций рекламы и креативов, чем когда-либо. Но конечный потребитель всего этого контента — по-прежнему человек. Когда любой может сгенерировать бесконечное число вариаций, настоящее преимущество — знать, какая из них действительно находит отклик у вашей аудитории, а это знание может прийти только от реальных людей. Сейчас обратная связь от людей значит больше, а не меньше.

Поэтому наш подход — дополнение, а не замена. Мы создали Synthetic Audiences как один из шагов в последовательности, работающий вместе с обратной связью от людей:

  1. Сгенерируйте варианты
  2. Отсейте их с помощью синтетической аудитории
  3. Доработайте те, что прошли отбор
  4. Подтвердите решение с реальными людьми

После каждого синтетического результата агент предлагает готовый к запуску опрос с реальными потребителями по вашим сильным вариантам. Его можно пропустить, но для любого решения, за которым стоят реальные деньги, мы советуем его запустить. Реальные респонденты дают письменные обоснования, реальные разрывы и результаты, которые можно показать кому-то ещё.

Синтетика даёт скорость на старте, когда вы перебираете множество вариантов. Реальные люди дают уверенность в конце, когда вы готовы принять окончательное решение.

Вот как описал это один из участников бета-тестирования:

«За два дня я провёл больше сотни синтетических тестов для двух нон-фикшн книг. По итогам первого раунда я переделал заднюю обложку и в тот же день протестировал её снова — исследование стало частью работы над черновиком, а не вердиктом в конце. Ценность скорее в причинах, чем в рейтингах. А ещё я получил короткий конкретный список того, что вынести на панель реальных людей PickFu до отправки моего предложения.»
— Пол О’Дуайер, консультант

Попробуйте

Чтобы воспользоваться Synthetic Audiences, откройте страницу Synthetic Audiences в PickFu и начните с одного из примеров запросов. Вы также можете попросить PickFu Agent запустить синтетический тест — в веб-приложении, в Slack или через PickFu MCP в таких инструментах, как Claude. Это бесплатно, пока идёт бета-тестирование.

Несколько текущих ограничений:

  • Только аудитории из США. Каждый синтетический респондент построен на данных участников панели из США.
  • Нет пользовательских аудиторий. Аудитории заранее сформированы из групп реальных участников панели.
  • Одна аудитория на тест. Объединять аудитории пока нельзя.

Самые частые запросы, которые мы пока слышим, — настраиваемые аудитории и рынки за пределами США. Продолжайте делиться мнением! Вы можете попросить агента отправить обратную связь прямо во время общения с ним или написать мне напрямую по электронной почте или в LinkedIn.

Войдите в PickFu (или создайте бесплатный аккаунт) и запустите свой первый синтетический тест уже сегодня.