Твое второе имя: как узнать, кому принадлежат имена и хостинги сайтов российского гражданского сектора

Когда мы создаем сайт, нужно очень внимательно относиться к тому, кто и как контролирует доступ к оплаченному доменному имени и хостингу сайта. Не все организации (да и любые другие владельцы сайтов) отдают себе отчет в том, что иногда их ресурсы могут быть также под контролем дизайн студии, школьника Пети — сына друга, сделавшего вам страничку по дружбе несколько лет назад, или же могут быть выключены в любой момент компанией провайдером по политическим причинам

Вопрос контроля над доменным именем своего сайта и над файлами и кодом, который хранится на хостинге сайта, стал еще более важным после того, как в феврале 2022 года российские организации столкнулись с ограничениями и корпоративными санкциями со стороны зарубежных компаний. Лаборатория решила узнать, где в настоящее время хостятся сайты российских некоммерческих организаций и где они регистрируют доменные имена.

Когда в лаборатории мы начали искать данные для исследовательского проекта о коммуникации российских НКО в интернете, на первом этапе нам удалось отобрать около 13 тысяч сайтов. Позднее эту выборку мы сократили, убрав формы организации, деятельность которых нам была неинтересна (подробнее об этом читайте в статье «Как мы искали данные для проекта о коммуникации НКО»). Однако данные об этой выборке сайтов у нас сохранились, и так как изначально нам было достоверно известно про них, что это сайты некоммерческих организаций, мы решили использовать эту выборку для анализа их доменов.

Регистраторы доменных имен

Чтобы создать сайт, вам нужно придумать его адрес, удостовериться, что этот адрес в интернете еще не занят, и застолбить его за собой (арендовать на то время, пока вы собираетесь этим адресом пользоваться). В физическом мире это схоже с арендой юридического адреса (такого, куда компании будет приходить бумажная почта), правда если в физическом мире это актуально только для компаний без офиса или тех, которые пытаются скрыть местонахождение сотрудников, то в интернете арендовать такой адрес приходится всем. Впрочем, на сайтах почти всегда вы увидите формулировку «купить домен», но по факту это означает, что вы платите регистрационный взнос, а потом ежегодно платите за использование этого имени, и оно перестанет быть вашим, как только вы перестанете платить за него. Так что в действительности, это больше похоже на аренду.

Распоряжаются адресами регистраторы доменов (почитать о том, как они соотносятся с международными организациями-распорядителями интернета и откуда у них права на продажу вам доменных имен, можно тут). Как правило, можно легко купить право на имя сайта вместе с хостингом (сервером), где будет находиться вся инфраструктура и данные сайта.

Популярный сайт hostings.info в августе 2022 года присвоил рейтинг лучшего регистратора доменов и хостера компании Reg.ru (ООО «РЕГ.РУ»). Считается, что компании принадлежит около 30% рынка доменов в России. На втором месте оказался Beget (ООО «Бегет»), известная тем, что на ее ресурсах легко можно создать сайт бесплатно. На третьем — Timeweb.com (ООО «ТаймВэб»). Похожая оценка и у портала StatOnline.ru.

Рейтинг лучших регистраторов доменов по версии hostings.info

По оценке портала StatOnline.ru, RU-CENTER Group владеет примерно 30% долей рынка доменных имен в зоне .RU, однако в качестве регистратора доменов и хостинга среди российских некоммерческих организаций он оказался абсолютным лидером — почти половина всех доменных имен были приобретены у него.

В марте 2022 года один из самых популярных в мире регистраторов доменных имен Namecheap объявил, что все российские клиенты должны перенести свои домены к другим регистраторам. Интересно, что из попавших в поле зрения Лаборатории организаций имевших доменное имя на Namecheap было всего семь. АНО «Сельские территории» успешно переехало к регистратору Reg.Ru, а Фонд «В защиту прав заключенных» так и продолжает пользоваться доменом на Namecheap, причем даже сумел продлить его в июне 2022 года.

Как мы об этом узнали

Изначально, когда мы составили список зарегистрированных в России некоммерческих организаций с сайтами, у нас закономерно встал вопрос: а какие из этих сайтов вообще еще существуют? Ведь список мы получили из компании, обогащающей реестр юридических лиц, но если сайт попал в список давно, возможно, его хостинг уже не оплачен, а домен разделегирован.

Проверку мы начали с вопроса: делегирован ли еще домен, и до какой даты, если да. Для ответа на этот вопрос мы использовали модуль python-whois.

! pip install python-whois
import whois

whois.whois('te-st.org')

Для сайта «Теплицы» результат проверки этого модуля будет выглядеть так:

{'domain_name': 'te-st.org',
 'registrar': 'RU-CENTER-RU',
 'creation_date': datetime.datetime(2012, 2, 21, 6, 13, 29),
 'expiration_date': datetime.datetime(2023, 2, 21, 7, 13, 29),
 'name_servers': ['coco.ns.cloudflare.com.', 'ken.ns.cloudflare.com.'],
 'status': 'REGISTERED, DELEGATED, VERIFIED',
 'emails': None,
 'org': None}

Тут мы видим, что регистратором домена te-st.org является все тот же RU-CENTER, домен создан в 2012 году и на август 2022 года оплачен до 21 февраля 2023 года. Из поля name_servers мы видим, что «Теплица» использует DMS-серверы Cloudflare. REGISTERED, DELEGATED, VERIFIED означает, что домен был успешно зарегистрирован в глобальной системе интернет-адресов, делегирован организации «Теплицы», а сама «Теплица» предоставила регистратору документы, удостоверяющие, что она — это она. Иногда в разделах emails и org указаны данные организации, но в данном случае «Теплица» предпочла их скрыть. Вот как это выглядит для страницы благотворительного фонда «Синдром Ангела»:

{'domain_name': 'SABF.RU',
 'registrar': 'RU-CENTER-RU',
 'creation_date': datetime.datetime(2020, 2, 3, 9, 49, 14),
 'expiration_date': datetime.datetime(2023, 2, 3, 9, 49, 14),
 'name_servers': ['ns1.jino.ru.',
  'ns2.jino.ru.',
  'ns3.jino.ru.',
  'ns4.jino.ru.'],
 'status': 'REGISTERED, DELEGATED, VERIFIED',
 'emails': None,
 'org': 'Charitable foundation for helping people with Angelman syndrome "Angel Syndrome"'}

Если доменное имя, которое подается модулю на вход, не делегировано (уже не существует или никогда не существовало), он выдаст ошибку PywhoisError:

А как узнать где хостятся сайты?

Мы видим, что даже с помощью одного только модуля python-whois можно найти не только регистратора, но и дату создания сайта, до какого числа оплачен домен. Впрочем, это не обязательно означает, что в этот день сайт перестанет работать; в документации к модулю это описано так:

NOTICE: The expiration date displayed in this record is the date the registrar's sponsorship of the domain name registration in the registry is currently set to expire. This date does not necessarily reflect the expiration date of the domain name registrant's agreement with the sponsoring registrar.  Users may consult the sponsoring registrar's Whois database to view the registrar's reported date of expiration for this registration.

Кроме того, в выдаче есть названия (но не ip-адреса) серверов. Используя их, нам удалось определить хостеров сайтов из нашей выборки. Оказалось, что судя по всему, очень часто организации берут хостинг и домен в комплекте — но далеко не всегда. Хостинг у петербургской Beget, например, покупали больше компаний из выборки (по доле), чем доменное имя. (Для этой части исследования мы ограничили выборку социальными НКО, убрав некоторые формы организации. Кроме того, на графике исключены те страницы, для которых невозможно определить хостинг — например, те, что используют Cloudflare и DDOS-Guard). Большая доля неразмеченных сайтов отражает тот факт, что многие компании используют небольших хостеров — причем чаще всего российских.

Где хостятся сайты российских НКО?

После разбора, какие хостинговые компании используют российские НКО, нам также стало интересно, где находятся сервера организаций. С одной стороны, в условиях риска отгораживания интернета от всего мира и того, что зарубежные компании стали применять к российским организациям санкции и закрывать им доступы, даже оплаченные, показывает, насколько важно было бы иметь хостинг в России. Но с другой стороны, организации, особенно работающие с данными людей из уязвимых групп, кажется, имеют все причины озаботиться тем, чтобы не хостить сайты на расположенных в России серверах, которые в любой момент могут быть прочитаны или даже конфискованы полицией.

В июне 2022 года мы провели исследование о том, где находятся сервера, на которых хостятся сайты НКО из нашей выборки. Для этого мы использовали модуль IP2Location. Он дает огромное количество информации о всем, связанном с сервером, адрес которого проверяется — от местонахождения (широта, долгота, географическая информация, часовой пояс и даже в некоторых случаях информация, связанную с погодными условиями) до имени провайдера и скорости соединения. На входе этот модуль принимает ip-адрес сайта. Чтобы узнать его, мы используем модуль socket:

import socket
import IP2Location

print(socket.gethostbyname('sovetveteranov01.ru'))

rec = database.get_all("89.108.114.66")
print("Country Code          : " + rec.country_short)
print("Country Name          : " + rec.country_long)

>>> 5.23.51.195
>>> Country Code          : RU
>>> Country Name          : Russian Federation

Вот пример json-файла, который модуль выдает для сайта АНО «НИИУРС»:

>>> green-zoom.ru

>>> {'status': 'success', 
     'country': 'Russia', 
     'countryCode': 'RU', 
     'region': 'SPE', 
     'regionName': 'St.-Petersburg', 
     'city': 'St Petersburg', 
     'zip': '', 
     'lat': 59.9311, 
     'lon': 30.3609, 
     'timezone': 'Europe/Moscow', 
     'isp': 'OOO "Network of data-centers "Selectel"', 
     'org': 'Selectel Ltd.', 
     'as': 'AS49505 OOO Network of data-centers Selectel',
     'query': '78.155.206.69'}

Так нам удалось собрать для выборки данные о странах и городах хостинга сайтов, а параллельно — их географические координаты. Мы исключили из выборки сайты, которые используют Cloudflare и DDOS-Guard, так как про их хостинг трудно сказать что-либо достоверно. Оказалось, что 715 сайтов — чуть больше 8% выборки — хостятся не в России.

Посмотреть интерактивную карту по ссылке

Как проверить свой сайт

Важно, что такие инструменты мы использовали потому, что хотели автоматизировать анализ большой выборки сайтов. А как быть, если вы хотите просто уточнить информацию о своем сайте?

Выясните, на кого зарегистрирован домен (название в адресной строке). Узнать эту информацию можно в панели управления доменом на сайте регистратора. Можно воспользоваться любым сервисом whois («кто это?»), например, этим.

Фонд «Подари жизнь» владеет своим доменным именем

2. Проверьте, до какого числа домен оплачен. Уточните у провайдера, какие средства оплаты вам доступны теперь, в условиях санкций Visa и MasterCard на выпущенные в России карты.

3. В панели управления (не в открытом источнике) уточните, что в контактах указана актуальная почта, чтобы у вас была возможность восстановить домен в случае чего.

4. Чтобы узнать информацию о своем хостинге, можно воспользоваться, к примеру сервисом ip-api (Лаборатория также тестировала его в своем исследовании).