Дата-центр: гайд для инвестора
Сергей Махлин
Что происходит на рынке?
Спрос на услуги коммерческих центров обработки данных (ЦОД) в России волнообразный. Прямо сейчас мы находимся на пике волны: на рынке есть отчетливый дефицит стоек (так называют специальные конструкции для размещения серверов, сетевого оборудования и кабелей в дата-центре. — Авт.). Во многом высокий спрос спровоцировала пандемия: в марте-апреле компании столкнулись с необходимостью оперативно нарастить ИТ-мощности. Так что строительство новых коммерческих ЦОД как никогда актуально. Когда через пару-тройку лет их введут в эксплуатацию, дефицит мощностей станет не таким острым, и волна пойдет на спад. Как долго продлится насыщение рынка, сказать сложно, — ИТ-аппетиты компаний постоянно растут.
Кто может стать инвестором?
Владельцы коммерческих центров обработки данных нацелены на получение прибыли от продажи услуг дата-центра крупному и среднему бизнесу. По нашему опыту, инвестирование в дата-центры интересно прежде всего тем, кто уже работает на ИТ-рынке. Если нет понимания, как этот бизнес устроен, приготовьтесь плотно вникать в его специфику. Что касается минимального порога вхождения в бизнес оператора коммерческого ЦОД, здесь многое зависит от масштабов будущего проекта и площадки, но в любом случае речь идет о нескольких миллионах долларов. При грамотном планировании возврат инвестиций возможен в 12–15-летней перспективе.
С чего начать?
В идеале — с технологического консалтинга. Как правило, его стоимость составляет 0,2–0,3% от объема капитальных вложений в проект. Обратиться за консультацией лучше в компанию, которая имеет успешный опыт создания дата-центров. Вместе с партнером нужно проанализировать спрос на услуги коммерческого ЦОД, в том числе в среднесрочной перспективе. На строительство дата-центра, как правило, уходит от 1,5 до 2,5 лет (включая проектные работы). Поэтому принимая решение об инвестировании сегодня, важно понимать, что будет с рынком через 3–5 лет.
На основании полученных данных можно разрабатывать финансовую модель и создавать бизнес-план. По нашему опыту, часто потенциальные инвесторы больше интересуются тем, сколько будет стоить строительство ЦОД и насколько затратной окажется эксплуатация, но при этом у них нет четкого понимания структуры доходов. Ответ на этот вопрос тоже нужно найти на этапе первичной проработки проекта. Задайте специалистам по технологическому консалтингу вопрос: какая стоимость услуг оптимальна для заказчиков и как быстро удастся их найти?
Как выбрать площадку?
Выбор площадки для строительства — пожалуй, один из самых важных вопросов при инвестировании в ЦОД. Бизнес-процессы сконцентрированы в мегаполисах, именно вокруг них и сконцентрировано большинство действующих дата-центров. Однозначный лидер — столичный регион, где спрос, по всей видимости, еще долго будет опережать предложение. Востребованность услуг дата-центров в Москве и Московской области намного выше, чем в Петербурге и тем более в других городах. Например, сейчас обсуждается строительство крупных ЦОД в весьма удаленных от столицы регионах, но ясности, будут ли они востребованы, пока нет.
Помимо географического расположения важный момент — доступность сетей электроснабжения и каналов связи. От этого будет зависеть стоимость подключения к ним. Простой пример: площадка в монгольской степи может быть очень дешевой, но стоимость подведения электроэнергии будет катастрофической.
Как сделать дата-центр энергоэффективным?
Для оценки энергоэффективности ЦОД используется показатель PUE (Power Usage Effectiveness). Он демонстрирует эффективность использования энергии в центре обработки данных как отношение всей потребленной объектом энергии к количеству, расходуемому на работу вычислительных устройств. А значит, чем PUE меньше, тем лучше. В данный момент хорошим тоном считается среднегодовой PUE менее 1,3. Добиться таких значений помогают современные технологии по охлаждению ЦОД, например фрикулинг (охлаждение машинных залов уличным воздухом). Так что перед потенциальным инвестором стоит еще одна задача: вместе с инженерами изучить все возможные решения и проанализировать их сильные и слабые стороны.
Для энергоэффективности дата-центров важно не только правильно выбрать технологии, но и обеспечить 100% использование мощностей. Так как вся инженерная инфраструктура рассчитана на максимальную загрузку, ЦОД будет эффективным при использовании всех стоек.
Зачем нужна сертификация?
Важный момент, без которого невозможно запустить успешный коммерческий дата-центр, — сертификация, которую проводит, например, UptimeInstitute. Это наиболее известная и пользующаяся доверием международная сертификационная организация, разработавшая собственный стандарт надежности центров обработки данных. Стандарт учитывает интересы корпоративных клиентов и во многом ориентирован на защиту инвестиций в строительство ЦОД. Конкурентным преимуществом будет полная сертификация — не только построенного объекта, но и процессов его эксплуатации.
Как это происходит на практике? Сначала в обязательном порядке сертифицируется проектная документация ЦОД. Прохождение этого этапа означает, что на этапе проектирования заложены необходимые требования к надежности и безопасности будущего дата-центра. После этого в течение двух лет нужно построить объект и провести его сертификацию — она подтвердит, что примененные решения соответствуют представленному ранее проекту.
Примерно через полтора года после ввода дата-центра в эксплуатацию мы рекомендуем дополнительно получить в UptimeInstitute еще и сертификат Operational Sustainability. В этом случае специалисты института будут оценивать эксплуатационную устойчивость ЦОД.
Что важно при эксплуатации?
Команда, которая будет заниматься эксплуатаций центра обработки данных, должна как можно раньше присоединиться к работе над созданием ЦОД. В идеале — уже на этапе проектирования и начала строительства. Это позволит избежать многих ошибок при эксплуатации дата-центра. Ну а переговоры с потенциальными клиентами ЦОД мы рекомендуем начинать примерно за полгода до запуска дата-центра.
Как построить модульный ЦОД за три месяца и не наступить на грабли
Этот модульный ЦОД мы построили меньше, чем за три месяца. В первых числах ноября начали монтаж на площадке, а в конце декабря уже сдали его в эксплуатацию.
В общих чертах запрос от заказчика именно таким и был: очень быстро нарастить вычислительные мощности под свой ИТ-проект там, где дополнительного места совсем нет. Решено было построить модульный ЦОД. И сделать это недорого. Спустя год готов рассказать, как это было. Как мы делали полную предварительную сборку и разборку ЦОДа на площадке в Сибири. Как поливали его водой из мойки «Керхер» и разогревали, как духовку.
Заодно поделюсь нашим опытом обхода граблей при строительстве модульных дата-центров. А также расскажу о некоторых граблях, на которые мы все-таки наступили, но в каске.
Суровая правда жизни: начало подготовительных работ
Для тех, кто не особо следит за строительными технологиями ЦОД, краткая справка о модульных решениях:
а) для них не требуется разрешение на капитальное строительство;
б) их можно быстро поставить где угодно, хоть посреди леса, лишь бы было электричество и каналы связи;
в) они как конструктор лего — можно разобрать и перевезти на новое место дислокации. И относительно легко, при необходимости, нарастить.
Что касается именно этого проекта, то основные критичные характеристики для заказчика — обоснование «некапитальности» сооружения и демонстрация возможности неоднократной сборки и разборки. Плюс возможность наращивания ИТ-мощностей в дальнейшем.
Кроме того, в проекте требовалось выполнить монтаж внешних инженерных сетей (КЛ-0,4кВ, сети связи, водоснабжение, водоотведение) и модернизировать существующую электрощитовую. Она находилась в административном здании, от которой выполнялось подключение МЦОД.
Когда начали работу, выяснилось, что на площадке под асфальтом «захоронен» цокольный этаж старого здания, о котором никто, включая заказчика, не знал. В итоге спроектировали бетонную площадку, взяв категорию грунта «Строительный мусор». Разработали котлован, выполнили отсыпку щебнем и песчаной подушкой. Дополнительно залили 300 мм армированного бетона. Таким образом исключили риски перепада плотности грунта под модульным зданием.
Бетонное основание под МЦОД
Внешние сети — как это было
Первые «грабли» состояли в том, что у заказчика не оказалось актуальной версии геоподосновы. Нашелся только архивный файл. Более того, отсканирован он был не в масштабе, и нам было сложно понять привязку коммуникаций и самого модульного ЦОДа. В итоге в наши расчеты все же закралась ошибка в 2,5-3 метра. Из-за нее пришлось сначала убрать одно крытое парковочное место на территории, а потом его восстанавливать.
Работы по устройству внешних коммуникаций шли параллельно с подготовкой бетонного основания. Одновременно заказчик совместно с МОЭСК модернизировал трансформаторную подстанцию РУ-0,4кВ. Это все, конечно, добавило нам головной боли.
Прокладка коммуникаций
Электрощитовую в административном здании мы реконструировали ночью. Требовалось поэтапное отключение линий электропитания всего административного здания, а в нем — потребители I особой категории. Например, в этом же здании находились серверы одной довольно крупной авиакомпании. Естественно, подключали резервный источник питания — мобильный ДГУ — на случай форс-мажорной ситуации. Успели, кстати, за одну ночь все сделать.
Когда закончили работы с коммуникациями, встал вопрос о восстановлении асфальта на парковке. Начали этот вопрос прорабатывать и поняли, что «старый» асфальт положен на все тот же строительный мусор, а мы-то свои траншеи засыпали по правилам! Что произойдет, если положим асфальт? Правильно, в лучшем случае он начнет трескаться на границах разных зон. Посоветовались со специалистами и сделали решение по легкому бетону. Забетонировали тонким слоем площадку, и уже на бетон положили новый асфальт.
Примерно вот так шли работы
Испытание водой и жарой
Одним из ключевых требований заказчика было провести предварительные испытания МЦОД на производстве и показать, что модульное здание соответствует основным требованиям. Пока мы занимались подведением коммуникаций, модульная конструкция уже была в производстве в Новосибирске. Дальше нам нужно было продемонстрировать заказчику возможность сборки и разборки ЦОДа. И вот тут началось самое интересное.
Обычно бывает предсборка модульных ЦОД на производстве, но это не наш случай. Заказчик требовал, чтобы модульное здание было собрано полностью — с фальшполом, с освещением, с общей электрикой и даже с пандусом. План был такой: полностью собрать модульное здание, провести предварительные испытания, разобрать здание, привезти в Москву и затем собрать еще раз.
Для того, чтобы все это провернуть, разместили модуль в огромном крытом цехе на площадке производителя.
Оба снимка сделаны на площадке производителя 3 октября
Приехала целая делегация — и наши инженеры, и представители заказчика. Многочасовые испытания шли два дня. Проводили проверку геометрических параметров модульного здания и помещений, отсутствия возможных «мостиков холода», отклонений высот фальшпола. Контролировали степень освещенности машинного зала на соответствие ТЗ. Еще была проверка на герметичность — поливали ЦОД водой из мойки «Керхер» под давлением.
Но самое необычное испытание — на теплопотери. Для этого мы арендовали тепловые пушки, и с утра в ЦОДе их запустили. Нагрев шел около двух с половиной часов. Температура внутри здания была на 50 градусов выше, чем снаружи. Жара стояла такая, что зайти в ЦОД было тяжело. Представители заказчика с тепловизором проходили вдоль стен и смотрели, нет ли тех самых «мостиков холода» — мест, где теряется тепло. Это было… эпично. Но зато мы точно были уверены, что нагрев и охлаждение ЦОД будет полностью предсказуем в «боевых» условиях.
История с фальшполом
После того, как испытания успешно прошли, примерно за неделю модульное здание было разобрано. Подрядчик погрузил его в фуры, и часть из них сразу выехала в Москву. Выезжали фуры по очереди, чтобы мы могли сразу с колес выгружать и начинать монтаж. Так мы избежали аренды склада. Можно сказать, это грабли, на которые мы не наступили.
Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября
Интересная история была с фальшполом. Если кто не в курсе, фальшпол — важная подсистема в ЦОД. Он держит все технологическое оборудование, и от его качества сборки и жесткости во многом зависит надежность ЦОДа.
В проекте у нас были предусмотрены ИБП весом под тонну, да еще и кондиционеры по 900 кг каждый. Подрядчик посчитал нагрузки и попытался убедить нас в том, что, мол, «не извольте сумлеваться, выдержит!»
Но слова «должен выдержать» нас не убедили.
Что мы сделали? Разработали рамы, усиливающие фальшпол под кондиционерами и ИБП. Для бесперебойников это была одна длинная мощная конструкция. Под фальшпол ее опускало человек пять или шесть.
Рамы для ИБП
А под кондиционеры мы сделали раму с ножками. Ножки эти вставали в паз — в существующие металлические фермы основания модульного ЦОДа.
И тут снова «грабли» — из-за спешки ребята-сварщики приварили ноги от другой рамы. Ноги получились короткими, и рама оказалась не на уровне фальшпола. А на следующий день уже все расписано — кондиционеры приезжают, заключен договор на такелажные работы… Звоним нашему инженеру (не просто инженеру, а с большой буквы «И» который). Пара звонков «мужикам» — и за ночь вопрос удалось решить.
Переварили ножки, и раму мы установили. И так как все считали наши ребята, мы спокойны — двукратный запас по прочности там точно есть.
Заказчику все тоже понравилось, кстати.
ДГУ заказывали?
Самое большое зло в этом проекте — сжатые сроки. ЦОД и так сложное сооружение, а тут нужно было уложиться в считанные недели. На сборке работало две смены. Одни люди выходили, другие заходили на объект. И так семь дней в неделю.
Конечно, не обходилось без накладок. Например, лежит материал в доступе у монтажников. Они его берут, но об экономии думать уже некогда. В итоге нашим инженерам-проектировщикам приходилось с ходу определять потребности и докупать расходники. Каждый день и час был на счету.
При сборке кондиционеров был вопрос в качестве пайки медных труб. Когда мы уже подключили кондиционеры и начали испытания, обнаружилось несколько утечек в фреонопроводе. Отдельная история была — найти места этих утечек. Они ведь часто микроскопические.
Или, вот, например, дизель-генераторная установка (ДГУ). Заказчик говорит: у нас установка есть, привезем. Привозят и тут же выясняется, что ДГУ не соответствует их же собственным требованиям! Наигрались мы с ней в итоге: дорабатывали и в части хранения топлива, в части конструкции модуля. Ставили шумопоглощающие маркизы, которые направляют звук в землю, катализатор и глушитель.
Каждый день было перепланирование работ — если что-то успевали быстрее сделать, план сразу переигрывали. Честно говоря, заказчик, да и мы сами, не до конца верили, что успеем за 3 месяца. Но все получилось, успели. Чистая стройка заняла вообще около месяца. Перед самым Новым годом ЦОД запустили.
И напоследок вот, как это было, — три месяца работы в одном видео: