- 28,206
- 46
- 8 Ноя 2022
Защитный алгоритм несправедливо забанил свыше восьми тысяч аккаунтов из-за нелепого сбоя.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Автоматическая модерация должна быстро отсекать опасные материалы, но недавний сбой в системе Discord привёл к обратному результату: платформа заблокировала около 8400 пользователей за безобидные изображения.
Сбой затронул аккаунты, которые с мая 2026 года загружали картинки с квадратной сеткой. Система сравнивала изображения с базой известных вредоносных материалов и ошибочно принимала за запрещённый контент шахматные доски, инвентарь из Minecraft и другие похожие узоры.
Фильтр не распознавал сами объекты, а сравнивал упрощённые цифровые «отпечатки» изображений. Повторяющиеся контрастные квадраты могли сделать отпечаток безобидной картинки похожим на отпечаток запрещённого материала, из-за чего система запускала проверку.
После такого совпадения Discord должен был временно приостановить загрузку файлов и передать материал сотруднику службы безопасности для проверки. Однако программная ошибка сразу запускала процесс блокировки аккаунта. Более того, одновременно в системе был и другой сбой, который мешал автоматически отменить наказание после пройденной проверки.
По данным Discord, с мая до начала июля проблема затронула около 8200 аккаунтов, ещё примерно 200 пользователей заблокировали в последние выходные. Компания заявила, что восстановила доступ всем пострадавшим и начала усиливать защитные механизмы, чтобы похожие ошибки не приводили к наказанию невиновных пользователей.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
Автоматическая модерация должна быстро отсекать опасные материалы, но недавний сбой в системе Discord привёл к обратному результату: платформа заблокировала около 8400 пользователей за безобидные изображения.
Сбой затронул аккаунты, которые с мая 2026 года загружали картинки с квадратной сеткой. Система сравнивала изображения с базой известных вредоносных материалов и ошибочно принимала за запрещённый контент шахматные доски, инвентарь из Minecraft и другие похожие узоры.
Фильтр не распознавал сами объекты, а сравнивал упрощённые цифровые «отпечатки» изображений. Повторяющиеся контрастные квадраты могли сделать отпечаток безобидной картинки похожим на отпечаток запрещённого материала, из-за чего система запускала проверку.
После такого совпадения Discord должен был временно приостановить загрузку файлов и передать материал сотруднику службы безопасности для проверки. Однако программная ошибка сразу запускала процесс блокировки аккаунта. Более того, одновременно в системе был и другой сбой, который мешал автоматически отменить наказание после пройденной проверки.
По данным Discord, с мая до начала июля проблема затронула около 8200 аккаунтов, ещё примерно 200 пользователей заблокировали в последние выходные. Компания заявила, что восстановила доступ всем пострадавшим и начала усиливать защитные механизмы, чтобы похожие ошибки не приводили к наказанию невиновных пользователей.
- Источник новости
- www.securitylab.ru
