Троянское машинное обучение или скрытая угроза

В последнее время все больше общественного внимания уделяется машинному обучению в сфере здравоохранения.
В частности было опубликовано много работ с примерами использования глубокого обучения, позволяющего достигнуть паритета с врачами-людьми при выполнении задач в области радиологии, патоморфологии, дерматологии и офтальмологии.
Тем временем внимание экспертного сообщества все больше фокусируется на уязвимостях подобных алгоритмов и возможных последствиях перспективы замены врачей некоторых специальностей подобными алгоритмами.
Манипуляция обучающей выборкой путем добавления в нее "шума", наподобие добавления ложки дегтя в бочку мёда, получила название состязательной атаки. Собственно говоря, это уязвимость не только ИИ, человека тоже можно неправильно обучить и последствия этого тоже будут плачевны. Однако, как выяснилось, в случае с машинным обучением, это сделать значительно проще...
Подробнее