Главная » Блоги Экспертов И ИТ-Компаний » Использование новейшего алгоритма машинного обучения в рекомендаторах

Использование новейшего алгоритма машинного обучения в рекомендаторах

Д. Фролов, кандидат компьютерных наук, член Российской ассоциации искусственного интеллекта (РАИИ), CTO Natimatica и Performance Marketing Lab; ведет исследовательскую работу в Национальном исследовательском университете «Высшая школа экономики».

Вопрос к вам, как к техническому менеджеру: как тщательно нужно отслеживать развитие технологических решений для создания новейших инструментов?

Работа многих ИТ-организаций имеет ориентацию на лидерство в сфере технологий в определенной области. Если вы хотите разработать программный сервис, способный занять лидирующую позицию, нельзя однажды что-то изучить и считать, что этого будет достаточно. Технологическая сфера сегодня переживает бурное развитие, а это значит, что необходимо регулярно отслеживать последние тенденции и обновлять собственный багаж знаний. И это не просто просмотр тематических новостных лент и создающихся программных библиотек, это изучение последних публикаций, посещение соответствующих семинаров, воркшопов, научных конференций.

Кроме того, рано или поздно во многих организациях появляется вопрос создания и поддержки своих исследовательских процессов. Да, привлечением ученых к разработке коммерческих продуктов занимаются не только Microsoft и Google. Вначале часто это продиктовано только специфичностью решаемых задач: другими словами, не так просто взять и переделать что-то готовое. В любом случае, подобные циклы разработки внутри компании дают возможность быстро приспосабливаться к меняющимся условиям рынка, принимать во внимание потребности клиентов и в то же время обеспечивать широчайший функционал и качество продуктов на каждой стадии работы.

 

Какого типа задачи вы решаете и какие продукты вы выпускаете на рынок?

Различными задачами индустрии интернет-рекламы я занимаюсь с 2012 года. За это время мне довелось участвовать в качестве разработчика и менеджера во нескольких различных проектах, в том числе, наукоемких. В настоящий момент компании часто предлагают свои сервисы в своеобразном ассортименте, включающем как просто рекламные продукты, так и инструменты по повышению монетизации веб-ресурсов в комплексе, а также продукты для улучшения параметров пользовательской вовлеченности. Я опишу один из самых популярных сейчас продуктов - контентную рекомендательную систему, разработанную в одном из недавних проектов.

Эта система - очень “объемный” в техническом плане инструмент, который содержит сегодня около 20 семейств алгоритмов и способы компоновки рекомендательной выдачи. Последнее решение – довольно удачный и пока не получивший большого распространения подход.

Понятно, что рекомендательная система является наукоемким инструментом. Большое количество площадок предполагает и необходимость иметь множество рекомендательных методов: то, что “заходит” на ресурсах, содержащих видеоролики, совсем не обязано с таким же успехом “заходить” на площадке новостей. То, что нас выгодно отличает от конкурентов, – способность к автоматическому подбору алгоритмов, которые подходят для определенного веб-ресурса.

 

Какое значение имеет применение методов машинного обучения в вашей деятельности?

Если вы имеете в виду алгоритмы нашего рекомендатора, то почти все они тесно связаны с методами машинного обучения. За исключением, возможно, простейших - тех, которые основаны на “детерминированных” методах предложения рекомендаций.

Примером того может послужить один из современных в машинном обучении метод Field-aware Factorization Machines. Его мы впервые заметили на конференции ACM RecSys 2016, где о данном методе рассказывали в каком-то докладе. С помощью Field-aware Factorization Machines предлагалось решать задачи прогнозирования отклика пользователей на показ рекламного креатива. Для тех, кто практикует машинное обучение, крайне важно, что этот метод предполагает сравнительно эффективную программную реализацию, о которой, к слову, разработчики тоже рассказали в своей работе.

Field-aware Factorization Machines показал отличные результаты на соревновательных платформах типа Kaggle. Он является подходящим решением для стандартных датасетов, которые используются в интернет-рекламе. Мы подстроили его под собственные задачи. Реализовав и внедрив ряд рекомендательных методов на базе Field-aware Factorization Machines, мы получили вполне удовлетворительные результаты.

 

Что может дать подобное внедрение?

Не хотелось бы обсуждать конкретные числа, но использование Field-aware Factorization Machines обеспечило улучшение среднего CTR (click-through rate, отношение кликов на компоненты рекомендательного виджета к количеству показов этого виджета) ряда наших популярных площадок на 15-20%. Этот результат более, чем удовлетворительный, владельцы площадок это прекрасно осознают.

Часто владельцы площадок сталкиваются с эффектом, когда через несколько дней после установки рекомендательного виджета click-through rate повышается многократно, прежде чем достигнуть пиковых значений и “выйти на плато”. Это типичная проблема старта, и подобный рост объясняется множеством факторов - к примеру, накоплением историй поведения пользователей и получением обратной связи, используемой в алгоритмах. Вообще, так называемая проблема “холодного старта” - классический подраздел машинного обучения, ее решение зависит от желаемого эффекта и предметной области, где алгоритм внедряется. Для контентных рекомендаторов она уже давно достаточно хорошо решена.

Как ни странно, но самым частым типом тестов рекомендательной системы, в котором мы принимали участие, является сравнение эффективности редакторских подборок, которые эксперты собирали вручную, с рекомендациями нашего продукта. И уже сегодня понятно, что современная рекомендательная система легко превосходит человека по всем параметрам - начиная от CTR и заканчивая более сложными метриками вовлеченности пользователя в рекомендуемый контент.

 


Данный материал является частной записью члена сообщества Club.CNews.
Редакция CNews не несет ответственности за его содержание.
5 месяцев назад | категории: Интернет: Интернет-ПО
Комментарии
RU,
---

Развитие IT технологий




Забыл пароль?
Авторизоваться через
Зарегистрируйся сейчас!
Присоединяйся к нашему обществу для того чтобы познакомиться с новыми людьми, создать собственный блог, публиковать анонсы событий и объявления, а также участвовать в обсуждении публикаций CNews. Мы создали единое пространство для общения специалистов рынка информационных технологий и всех, кто интересуется современными технологиями. Регистрация =>