Пользовательница Max рассказала о блокировке за «экстремизм» в разговорах

У блогерки Анны Евсегнеевой почти две тысячи подписчиков в Instagram. Обычно она выкладывает туда юмористические ролики, рассказывает о жизни с сыном и делится модными советами.

4 сентября она опубликовала видео про Max. Девушка рассказала, что скачала приложение после того, как в России заблокировали видеозвонки в Telegram и WhatsApp. В национальном мессенджере она созванивалась с мамой. По ее словам, после трех звонков ее профиль заблокировали, также ей закрыли доступ в приложение. То же самое якобы произошло с аккаунтом ее мамы.

В частности, пункт 4.3.4 запрещает передавать любой контент, содержащий угрозы, насилие, порнографию, призывы к суициду, экстремизм, разжигание ненависти, пропаганду преступлений, наркотиков, вводящий в заблуждение, вредоносный код, спам, подделку личности или нарушающий законы и права других лиц. Пункт 4.3.5 запрещает «осуществлять массовые рассылки сообщений в адрес других пользователей без их предварительного согласия».

Анна утверждает, что во время звонков она не обсуждала ничего из упомянутого в якобы нарушенных пунктах соглашения. После обращения в поддержку ей разблокировали аккаунт, так как она нарушила правила первый раз. В ролике блогерка заявила, что при повторном нарушении ей могут окончательно закрыть доступ к аккаунту, но не уточнила, узнала ли она об этом от техподдержки.

В пункте 5.1.4. пользовательского соглашения Max действительно указано, что модераторы имеют право приостанавливать, ограничивать или прекращать доступ пользователя к сервису и/или его отдельным функциям, например, «в случае распространения информации, запрещенной» российскими законами.

«Желание общаться в этом мессенджере у меня сразу пропало. Если завтра у меня будет какое-то не очень хорошее настроение и кого-нибудь в этом Max пошлю куда-нибудь подальше и обложу трехэтажным матом, то меня заблокируют навсегда. Я, конечно, понимаю, что приложение новое, его еще дорабатывают и будут дорабатывать. Но просто так, без причин, блокировать пользователей, и чтобы они еще пытались как-то объясниться, чтобы восстановить себе доступ, такое себе, да? Ни в одном мессенджере я такого не встречала», — поделилась девушка.

Представители Max официально не комментировали ситуацию.

Max действительно может получить доступ к контенту?

Национальный мессенджер знает о факте, времени, длительности и участниках звонка, а при необходимости может получить доступ и к содержанию разговора, напоминает в комментарии «Новой-Европа» киберадвокат и сооснователь «Роскомсвободы» Саркис Дарбинян. Это связано с тем, что сквозного шифрования в мессенджере нет, а весь трафик проходит через серверы провайдера. Данные доступны оператору и по запросу — спецслужбам.

О технической возможности мессенджера Max получить доступ к информации во всех личных звонках пользователей также рассказывает «Новой-Европа» и технический директор правозащитного проекта Araminta Денис Ягодин.

«У него (Max. — Прим. ред.) есть доступ к так называемым метаданным. Кто звонил, кому, как долго, с какого устройства, c какого IP-адреса, из какой геолокации. Скорее всего, у него есть доступ и к контенту. Возможно, одна из причин его разработки — возможность все прослушивать», — подчеркивает эксперт.

Если у Max нет сквозного шифрования и серверы при звонках получают весь голосовой поток, то после этого могут использоваться алгоритмы по распознаванию речи и переводу голоса в текст, а также различные классификаторы — на признаки угроз, упоминаний суицида, наркотиков и экстремизма, размышляет Ягодин. Такой контент может автоматически помечаться опасным либо не соответствующим правилам, отправляться на ручную модерацию или сразу блокироваться. Последнее как раз-таки могло произойти в случае с блогеркой.

«В будущем они (модераторы Max. — Прим. ред.) смогут учитывать, лайкал ли человек посты Фонда борьбы с коррупцией, репостил ли «Медузу» и так далее. У таких пользователей может понижаться какой-то [видный только модераторам] показатель, а если при этом в разговоре будет что-то [подозрительное] сказано, то их будут блокировать. Это то, что нас ждет дальше», — прогнозирует эксперт.

Дарбинян подчеркивает, что определение тематики разговора по видеосвязи возможно только через анализ содержимого. Помимо аудионализа могут применять также видеоанализ. Помимо аудиоанализа, могут применяться и технологии видеоанализа: нейросети способны выявлять объекты, лица, сцены и действия. Эксперт напоминает, что у Роскомнадзора уже есть мощные системы мониторинга — «Чистый интернет», «Вепрь» и «Окулус», работающие на базе искусственного интеллекта для контроля новостной повестки и контента.

«Кажется, что в текущем виде ни их архитектура, ни принципы не подходят напрямую для мессенджера Max. Тем не менее, не исключено, что их могли доработать для мессенджера», — подчеркнул Дарбинян.

Ошибки при такой модерации в Max неизбежны, уверен Ягодин. Так, на распознавание могут влиять качество связи, шумы и посторонние звуки. Даже если блогерка Евсегнеева не произносила запрещенных слов, алгоритм мог ошибочно распознать ее реплики как нарушения и на этом основании заблокировать аккаунт. Все системы машинного обучения работают с вероятностями, а не с абсолютной точностью, это означает, что ложноположительные результаты вполне реальны. Например, предполагает Дарбинян, обсуждение фильма может определиться как разговор о политике.

Могут ли за блокировкой последовать донос и дело?

Max, как и любой другой организатор сервиса обмена мгновенными сообщениями, работающий в России как юридическое лицо, обязан не только хранить данные, но и следить за пользователями, напоминает Дарбинян. Это следует из последних поправок к федеральному закону «О связи».

По словам киберадвоката, речь тут не просто о хранении и выдаче данных по запросу, а о постоянном мониторинге контента, номеров и активности пользователей. Таким образом, формулировка «обязан принимать меры» в законе означает, что компании должны внедрять технические и организационные механизмы для выявления подозрительной активности — алгоритмы, фильтры, системы анализа трафика.

«По сути, это равносильно обязанности доносить на клиентов, 

Это усиливает функцию цифрового надзора, превращая частные компании в привлеченных агентов правоохранительных органов. Поправки еще не приняты, но имеют все шансы стать законом до конца этого года», — считает Дарбинян.

Ягодин из Araminta подчеркивает, что в пользовательском соглашении Max прописано право компании использовать автоматические компьютерные системы для сканирования сообщений. Там же указано, что мессенджер передает данные госорганам по соответствующему запросу.

За многое из того, что указано в пользовательском соглашении Max, например, угрозы насилия, распространение порнографии, призывы к суициду и разжигание ненависти, могут привлечь к уголовной ответственности, обращает внимание Ягодин. Хотя схожие пункты есть и в пользовательских соглашениях других соцсетей и мессенджеров, эксперт указывает на существенное отличие.

«Если же речь идет о действительно серьезных нарушениях, за которые предусмотрено наказание, то почему платформе не передавать такие данные сразу в правоохранительные органы? Можно представить: пометка «алерт» (тревога. — Прим. ред.) модератору и параллельно — «товарищу майору». Сейчас этого, скорее всего, нет, но в будущем подобный сценарий вполне возможен: автоматически фиксируются голосовые записи, данные о времени, устройстве и операторе — и остается лишь подписать документы, чтобы возбудить дело. Это выглядит как сюжет из сериала «Черное зеркало», но это вполне реально», — предупреждает Ягодин.

Дарбинян тоже считает, что в текущих условиях блокировка аккаунта в Max — это далеко не самое худшее последствие работы алгоритмов.

— За содержание звонков или чатов могут также наступать уголовные и административные последствия. Чаты и звонки через Max могут напрямую использоваться как доказательства, полученные через СОРМ (Систему оперативно-розыскных мероприятий. — Прим. ред.), с приобщением к материалам уголовного дела.