Дата-центр ВКонтакте
Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.
Как построить дата-центр?
ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.
Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:
Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:
Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.
Добро пожаловать в ИЦВА
Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.
В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.
В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.
Электроснабжение
Все элементы системы электроснабжения резервируются как минимум N+1.
Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):
Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:
Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.
Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.
Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:
Система охлаждения
Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).
У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.
Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.
Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:
С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.
Структурированная кабельная система
Километры бережно уложенных проводов. Здесь не нужны слова.
Как выглядит дата-центр соцсети ВКонткте
Главная страница » Статьи » Железо » Как выглядит дата-центр соцсети ВКонткте
Дата-центр социальной сети VK находится на улице Цветочная в Санкт-Петербурге, в пределах одного километра от станции метрополитена «Московские ворота».
Это отдельно стоящее здание, общая площадь которого равна 1500 квадратных метров. Северное помещение имеет площадь 700 квадратных метров, и в нем находится 210 телекоммуникационных шкафов, кластеры бесперебойных источников питания и прецизионные кондиционеры.
В отдельном помещении располагаются батарейные кабинеты для источников бесперебойного питания. Для того, чтобы погрузка и разгрузка оборудования была комфортной, оборудованы грузовые ворота.
Электропитание дата-центра VK
Данный дата-центр применяет два независимых ввода электропитания, мощность каждого из них составляет 2 МВт. В помещении дата-центра оборудованы две новые трансформаторные подстанции, которые резервируют друг друга. Два кластера из 4-х источников бесперебойного питания Liebert NXa 200 KVA с общим резервированием N+1 обеспечивают непрерывность электропитания. На тот случай, если произойдет отключение двух вводов электропитания, установлен дизель генератор FG Wilson, который оборудован системой автозапуска, если электричество отключается.
Вентиляция и кондиционирование дата-центра VK
Кондиционеры EMICON обеспечивают микроклимат в Северном помещении с поступлением воздуха под фальшпол. С резервированием по схеме N+1 основана система кондиционирования. Оборудование охлаждается по принципу «горячих» и «холодных коридоров», в «холодных» температура составляет 20-22 градуса по Цельсию.
Телекоммуникации дата-центра VK
У дата-центра имеются свои собственные оптические каналы, основные точки обмена трафиком в городе Санкт-Петербург — Боровая, 57 и Большая Морская, 18, а также с дата-центрами «Дубровка-3», «Дубровка-2», «Дубровка». В помещении дата-центра располагаются кабельные вводы не только из телефонной канализации СЗТ, но и из воздуха. На данный момент в дата-центре в наличии такие операторы как РетнНет, Вымпелком, Ростелеком, TeliaSonera, Раском, ОБИТ, Мегафон, ТрансТелеКом, МТС, РТКомм.РУ, Северен-Телеком, ЕДПнет, Runnet.ru и другие. Также присутствуют на площадке точки обмена трафиком Пирикс и Data-IX.
Как охраняются дата-центры VK
Дата-центр оборудован современными защитными системами для предотвращения нежелательного проникновения как в само здание, так и в северное помещение. На входе в здание и в северное помещение установлен круглосуточный пост мощной вооруженной охраны. За входом, всеми помещениями и периметром здания следят более 100 камер видеонаблюдения.
В каждом помещении дата-центра оборудована система контроля и учета доступа с использованием магнитных карт, а также видеокамер и датчиков пожарной сигнализации.
Как обслуживаются дата-центры VK
Системные инженеры с высокой квалификацией круглые сутки следят за работой основных систем дата-центра. Техническая поддержка работает, не прекращая, 24 часа в сутки.
Весь перечень работ, выполняемых дата-центром VK
Вот такой он – дата-центр VK «Цветочная». Могли ли вы себе представить, насколько много здесь оборудования и как оно все одновременно работает?
Павел Дуров продает «ВКонтакте» здание основного дата-центра соцсети под Санкт-Петербургом Материал редакции
Основатель «ВКонтакте» Павел Дуров продает своей бывшей компании фирму ICVA Ltd, которая владеет зданием основного дата-центра соцсети. Ходатайство о получении согласия на сделку уже подано в ФАС. Её сумма может составить более 500 млн рублей. Об этом со ссылкой на собственные источники сообщают «Известия».
С первых дней работы «ВКонтакте» соцсеть использовала технику своих первых инвесторов — Вячеслава Мирилашвили и Льва Левиева, которым принадлежит хостинг-провайдер «Селектел». Однако новый инвестор соцсети фонд DST считал, что «ВКонтакте» не должна зависеть от сторонних дата-центров.
В 2010 году Павел Дуров приступил к переговорам по приобретению ООО «ИЦВА» — предприятие владело 8,5 га земли под Санкт-Петербургом. После покупки территории был проведен ремонт расположенных на ней семи корпусов, общая площадь которых составила 15 тысяч кв. м.
В сентябре 2011 года владельцем ООО «ИЦВА» стал Илья Перекопский, занимавший на тот момент пост вице-президента «ВКонтакте». Позже ООО «ИЦВА» было переоформлено на офшорную компанию International Business Company Icva Limited (Сейшельские острова), на 100% принадлежащую Дурову.
С 2012 года пост гендиректора ООО «ИЦВА» занял Павел Бондаренко — по сведениям «Известий» являющийся знакомым Дурова, много лет проработавший в строительном бизнесе. В апреле 2014 года новый владелец 48% «ВКонтакте» фонд UCP подал иск в верховный суд Британских Виргинских островов.
В иске говорилось, что после своего назначения Бондаренко якобы заключил с «ВКонтакте» договор аренды пяти этажей здания дата-центра за 20 млн рублей в месяц. При этом серверы, используемые соцсетью, занимали только один этаж, а реальная рыночная стоимость аренды составляла всего 8 млн рублей в месяц. Таким образом, подсчитали в UCP, начиная с 2012 года переплата за аренду составила порядка 200 млн рублей.
Источник «Известий», знакомый с ситуацией, сообщил, что Дуров строил дата-центры на собственные средства. Этот же источник сообщил, что основатель «ВКонтакте» предлагал вначале Мирилашвили и Левиеву, а затем и UCP, перевести ООО «ИЦВА» на баланс соцсети по его себестоимости. Однако сооснователь «ВКонтакте» и Selectel Лев Левиев опроверг информацию о том, что получал предложения о покупке «Ицвы»:
Лев Левиевинвестор
DST никогда не поднимал вопрос зависимости «ВКонтакте» от «Селектела». Мы проинвестировали деньги в дата-центры, когда у «ВКонтакте» ещё не было ресурсов на капитальные вложения. Наши мощности помогли соцсети расти без огромных вложений в инфраструктуру, потому что условия аренды стоек была гораздо ниже рыночной. Вся структура «Селектела» была прозрачна для руководства «ВКонтакте» с первого дня.
Что касается предложения о покупке «Ицвы» — информацию не соответствует действительности. Совет директоров неоднократно поднимал вопрос покупки этого объекта за вычетом денег, которые потратила ООО «ВКонтакте» на строительство этого дата-центра, но Павел с этим вопросом не торопился.
Сама социальные сеть «ВКонтакте» была и остаётся для нас крупным и надежным партнёром. Большая часть мощностей социальной сети остаются на нашей площадке.
Как отмечают «Известия», последнее, что связывало Дурова с «ВКонтакте» — дата-центры ООО «ИЦВА». Чтобы не заниматься переоформлением всех документов на землю и здания, новое руководство соцсети приняло решение выкупить 100% акций ICVA Ltd.
Ходатайство об одобрении этой сделки руководство «ВКонтакте» подало в ФАС в октябре. В документе отмечается, что суммарная стоимость активов приобретателя, ICVA Ltd и их аффилированных структур превышает 7 млрд рублей. При этом суммарная стоимость ICVA превышает 250 млн рублей. Источник «Известий», близкий к «ВКонтакте», отметил, что стоимость ICVA Ltd — в пределах 500–600 млн рублей.
Пресс-служба «ВКонтакте» отказалась комментировать ЦП информацию «Известий».