- 27,878
- 46
- 8 Ноя 2022
Почему уверенный ответ модели может стоить пациенту репутации и тайны диагноза.
Медицинские ИИ-модели помогают врачам искать болезни на снимках, ЭКГ и в электронных картах, но у таких систем нашли опасную слабость. По ответам алгоритма можно попытаться понять, использовали ли данные конкретного пациента при обучении. Для медицины такой вывод опасен: сам факт попадания записи в обучающую базу может выдать диагноз, лечение или посещение профильной клиники.
Немецкие исследователи опубликовали в Nature работу об атаках определения принадлежности к обучающим данным. Во время такой атаки злоумышленник подает системе медицинские сведения и смотрит, насколько уверенно алгоритм отвечает. Если уверенность заметно выше обычной, появляется признак, что похожая запись уже была в базе для обучения.
Авторы проверили семь медицинских наборов данных: изображения, записи ЭКГ и электронные медицинские карты. В отдельных случаях исследователи смогли определить принадлежность данных конкретного пациента почти без ошибок. Стандартные проверки конфиденциальности плохо замечают подобный риск, потому что аудит обычно оценивает средний показатель по массиву записей, а не опасность для каждого пациента отдельно.
Проблема становится серьезнее, когда пациент относится к группе, слабо представленной в медицинских данных. Редкие признаки делают запись заметнее для модели. В работе среди таких факторов названы расовое происхождение, тип страховки, пол, протокол медицинской съемки и отдельные заболевания.
Ведущий автор работы Мориц Кнолле из Технического университета Мюнхена отмечает, что риск растет по мере сужения медицинской группы. Сам факт присутствия записи в обучающей базе может многое сказать о человеке, если набор связан с болезнью Хантингтона, депрессией или лечением в специализированной клинике.
Для атаки не нужен полный архив медицинских документов. Злоумышленнику может хватить части результатов анализа крови, фрагмента ЭКГ, снимка или куска электронной карты. Исследователи также отмечают, что базы в работе были анонимизированы, но анонимизация не мешает атаке, если у злоумышленника уже есть целевая медицинская запись или ее часть.
Механизм атаки связан с поведением самой модели. Алгоритмы обычно увереннее распознают данные, которые уже встречались во время обучения. Злоумышленник отправляет в систему часть анализа, снимка или другой медицинской записи, получает ответ и оценивает уровень уверенности. По этому признаку можно сделать вывод, входила ли запись пациента в обучающий набор.
Авторы подчеркивают, что медицинские данные не всегда хранятся достаточно надежно. Злоумышленник может получить часть сведений через утечку, взлом базы врача, лаборатории или другой медицинской организации, а затем использовать фрагмент для проверки через ИИ-модель.
Исследователи предлагают менять подход к проверке конфиденциальности медицинского ИИ. Аудит должен учитывать риск для отдельных пациентов, а не только средний показатель по всей базе. Среди защитных мер авторы называют дифференциальную приватность : такой подход математически снижает шанс определить, использовалась ли конкретная запись при обучении.
Кнолле также считает, что разработчикам нужно внимательнее собирать медицинские наборы данных. Если здоровые и больные пациенты представлены в больших группах, успешная атака может не раскрывать ничего существенного. Но когда база связана с узким диагнозом или редкой категорией пациентов, сам факт попадания записи в обучение уже раскрывает чувствительные сведения о человеке.
Медицинские ИИ-модели помогают врачам искать болезни на снимках, ЭКГ и в электронных картах, но у таких систем нашли опасную слабость. По ответам алгоритма можно попытаться понять, использовали ли данные конкретного пациента при обучении. Для медицины такой вывод опасен: сам факт попадания записи в обучающую базу может выдать диагноз, лечение или посещение профильной клиники.
Немецкие исследователи опубликовали в Nature работу об атаках определения принадлежности к обучающим данным. Во время такой атаки злоумышленник подает системе медицинские сведения и смотрит, насколько уверенно алгоритм отвечает. Если уверенность заметно выше обычной, появляется признак, что похожая запись уже была в базе для обучения.
Авторы проверили семь медицинских наборов данных: изображения, записи ЭКГ и электронные медицинские карты. В отдельных случаях исследователи смогли определить принадлежность данных конкретного пациента почти без ошибок. Стандартные проверки конфиденциальности плохо замечают подобный риск, потому что аудит обычно оценивает средний показатель по массиву записей, а не опасность для каждого пациента отдельно.
Проблема становится серьезнее, когда пациент относится к группе, слабо представленной в медицинских данных. Редкие признаки делают запись заметнее для модели. В работе среди таких факторов названы расовое происхождение, тип страховки, пол, протокол медицинской съемки и отдельные заболевания.
Ведущий автор работы Мориц Кнолле из Технического университета Мюнхена отмечает, что риск растет по мере сужения медицинской группы. Сам факт присутствия записи в обучающей базе может многое сказать о человеке, если набор связан с болезнью Хантингтона, депрессией или лечением в специализированной клинике.
Для атаки не нужен полный архив медицинских документов. Злоумышленнику может хватить части результатов анализа крови, фрагмента ЭКГ, снимка или куска электронной карты. Исследователи также отмечают, что базы в работе были анонимизированы, но анонимизация не мешает атаке, если у злоумышленника уже есть целевая медицинская запись или ее часть.
Механизм атаки связан с поведением самой модели. Алгоритмы обычно увереннее распознают данные, которые уже встречались во время обучения. Злоумышленник отправляет в систему часть анализа, снимка или другой медицинской записи, получает ответ и оценивает уровень уверенности. По этому признаку можно сделать вывод, входила ли запись пациента в обучающий набор.
Авторы подчеркивают, что медицинские данные не всегда хранятся достаточно надежно. Злоумышленник может получить часть сведений через утечку, взлом базы врача, лаборатории или другой медицинской организации, а затем использовать фрагмент для проверки через ИИ-модель.
Исследователи предлагают менять подход к проверке конфиденциальности медицинского ИИ. Аудит должен учитывать риск для отдельных пациентов, а не только средний показатель по всей базе. Среди защитных мер авторы называют дифференциальную приватность : такой подход математически снижает шанс определить, использовалась ли конкретная запись при обучении.
Кнолле также считает, что разработчикам нужно внимательнее собирать медицинские наборы данных. Если здоровые и больные пациенты представлены в больших группах, успешная атака может не раскрывать ничего существенного. Но когда база связана с узким диагнозом или редкой категорией пациентов, сам факт попадания записи в обучение уже раскрывает чувствительные сведения о человеке.
- Источник новости
- www.securitylab.ru
