Ученый Института прикладной математики и компьютерных наук Томского госуниверситета Антон Николаев исследует атаки на машинное обучение и механизмы их предотвращения. Его исследования могут стать основой для разработки новых способов защиты нейросетей от кибернападений.
По словам Антона, успешная атака на систему, разработанную на базе машинного обучения может привести даже к угрозе человеческой жизни. Например, внедрение вируса в систему автономного вождения, атака на биометрические системы и распознавание лиц.
«Механизмы атак на подобные системы могут быть совершенно разными. Самые популярные включают генерацию некоторых небольших изменений в объекте (звуке, изображении, тексте) или, проще говоря, специального «шума», который ведет к тому, что система неправильно распознает или классифицирует данный объект. Например, определенного рода наклейка на дорожный знак может заставить систему распознавания дорожных знаков увидеть вместо одного знака другой. Или же специальный макияж на лице может заставить систему распознавания лиц увидеть в одном человеке другого», — объясняет Антон Николаев.
В машинном обучении возможны неоднозначные ситуации. Благодаря им злоумышленники могут заменять одни результаты другими. Задача исследований аспиранта — выявить наиболее эффективные методы приближения к границам таких «зазоров» или пограничных значений. Затем он выяснит, как можно снизить число подобных «слабых звеньев» при атаках и в эксплуатации.
На основе исследований молодой ученый создаст новые алгоритмы либо платформенное решение для защиты методов машинного обучения от внешнего влияния.
