Строительство цод в ярославле
ЦОД в Ярославле: инженерные решения для бесперебойной работы
Сама идея строительства большого дата-центра в Ярославле вызвала оживление среди технических специалистов. Задача — создание оптимального по площадям и максимально эффективного технического сооружения.
Вот заданные параметры:
Ещё вводные: система охлаждения должна продолжать работу даже после отключения основного питания, плюс кейс дожен быть экономически-обоснованным. Про другие условия можно прочитать в предыдущем топике про строительство дата-центра.
Выбор решения
В качестве источников гарантированного и бесперебойного электроснабжения решили применить ДДИБП(дизельный динамический источник бесперебойного питания), он же Flywheel UPS или DRUPS. Технология применялась ещё в СССР и носила название УГП (установка гарантированного питания). Принцип работы машины основан на обеспечении вращения альтернатора (синхронной обратимой электрической машины), которая может работать в режиме мотора или генератора.
Непрерывность вращения электрической машины во время проблем с внешним питанием обеспечивается за счет накопленной кинетической энергии. В качестве накопителя кинетической энергии используется громадный маховик прикрепленный к валу обратимой машины.
Маховики в качестве накопителей кинетической энергии используются в ДДИБП, ограничиваясь линейкой в 1 МВт. В более мощных устройствах ДДИБП имеют применение так называемые кинетические модули. Работа этих устройств основана на сочетании механических и электрических принципов.
Как это работает
При наличии удовлетворительного внешнего питания (из города)
Если внешнее питание пропадает или становится неудовлетворительным
Раскрученный маховик по инерции продолжает вращаться, отдавая накопленную кинетическую энергию синхронной электрической машине. Она, в свою очередь, из режима электрического мотора переходит в режим генератора и вырабатывает электричество к потребителю.
Потребители электрической энергии продолжают получать электричество, не замечая проблему.
По статистике производителей ДДИБП, 98% инцидентов с внешним электричеством носит кратковременный характер, и времени автономии ДДИБП на раскрученном маховике достаточно для их устранения. Проблемы, которые носят более длительный характер, сопровождаются запуском и подключением дизельного двигателя к электрическим машинам путем сцепления муфты.
12 «за»
На последнем остановится чуть подробнее. Перевозбуждённый синхронный двигатель на холостом ходу применяют в качестве компенсатора реактивной мощности. Мы получаем возможность не оплачивать реактивную составляющую электрической мощности, компенсируя ее применением ДДИБП.
Что такое активная и реактивная мощность?
В большинстве случаев электрические цепи содержат как активное, так и реактивное сопротивление. В цепях с активным сопротивлением электрическая энергия полностью преобразуется в тепло, совершая полезную работу. Единица измерения Ватт (Вт). В цепях переменного тока, содержащих наряду с активными сопротивлениями индуктивные и емкостные нагрузки, имеют место потери на реактивную мощность, обусловленную наличием магнитных и электрических полей в электрических цепях. Условно эта мощность не расходуется на полезную работу. Единица измерения вольт-ампер реактивный (вар) или киловольт-ампер реактивный (квар).
Учитывая, что ЦОД в Ярославле строится, как ранее писалось, у стен пивного завода Ярпиво, для наглядности можно рассмотреть пример на бокале пива. Бокал наполнен слоем бесполезной пены (реактивной мощности). Мы платим за нее в составе выпитого пива, но полезную работу выполняет только объем активной жидкости (активной мощности).
Сумма активной и реактивной мощности, — полная мощность.
Отношение активной мощности электрической цепи к полной мощности принято называть коэффициентом мощности или «косинусом фи» (cos φ):
Коэффициент мощности = Активная мощность/Полная мощность
Коэффициент мощности не может быть больше единицы. В случае, если активная мощность равна полной мощности, а это говорит об отсутствии реактивной нагрузки, cos φ = 1 (единице). Для практического примера,- cos φ сервера = 0,95, а cos φ кондиционера = 0,7. Отсюда уже видно, сколько в процентах заплатим за пену).
Практический выбор
При исследовании рынка мы выяснили, что передовых производителей, чье оборудование установлено в ЦОД всего четыре, все расположены на территории европейских стран.
Все работают в больших диапазонах мощностей, имеют хорошую производственную базу, все представлены в ЦОДах и имеют положительную историю и отзывы. Соответственно конкурентная среда есть.
Интересные конструктивные особенности
Hitzinger, Evrodisel, Hitec
ДДИБП данных производителей имеют классическую схему размещения агрегатов (соосно). Кинетический накопитель двухопорный. Имеет жесткое соединение с альтернатором.
Преимущества: простота и минимальное количество силовой электроники.
Piller
Он работает по тому же примерно принципу, что и классические ДДИБП – но накопитель кинетической энергии не размещен на одной раме с остальными компонентами устройства. Кинетический накопитель имеет вертикальное расположение, по принципу «волчка». В данных устройствах применяется не механическая связь агрегатов а электрическая.
Преимущества: кинетический накопитель может быть установлен отдельно от самого силового агрегата, накопитель помещен в герметичную оболочку заполненную газом, таким образом снижено сопротивление, что позволяет увеличить время автономии без запуска дизеля.
А вот фотографии устройств в реальности (не в нашем ЦОД):
ЦОД Вымпелком (Совинтел)
Российский оператор сотовой связи «ВымпелКом» собирается перенести свои центры обработки данных (ЦОД) из Москвы в Ярославль, что позволит компании сэкономить от 30 до 40% операционных расходов на поддержку ЦОДов. К 2017 году вся ИТ-инфраструктура оператора, предназначенная для централизованного обслуживания клиентов, будет переведена в единый технический центр, который уже строится в Ярославле. Он возьмет на себя нагрузку всех столичных ЦОДов, рассказала «Ведомостям» представитель компании Анна Айбашева.
По словам госпожи Айбашевой, московские ЦОДы сложно и дорого расширять, эти трудности не компенсирует даже развитая столичная инфраструктура, поэтому и было принято решение с Ярославлем.
На первом этапе до 2014 года инвестиции в ярославский ЦОД составили 1 миллиард рублей. Стоимость всего проекта может составить порядка 4 млрд рублей, считает iKS-Consulting Михаил Бодягин.
Следует отметить, что не только «ВымпелКом» переводит часть производственной инфраструктуры в регионы. Так, интернет-магазин [1] еще в 2005 году перевел call-центр и основные склады из Москвы в Тверь.
Вымпелком завершил весной 2012 года обсуждение деталей крупномасштабного проекта строительства модульного центра обработки данных в Ярославской области, Россия. Этот новый дата-центр будет строиться по технологиям испанской фирмы AST Modular. Этот большой дата-центр, ввод в эксплуатацию его первого модуля назначен на начало 2013 года. Он будет состоять из 6 специализированных модульных помещений площадью 3000 квадратных метров, при этом каждый модуль будет вмещать до 1200 стоек с оборудованием.
В дата-центре будет применяться технология естественного свободного охлаждения (фрикулинг) компании AST Modular с ожидаемым коэффициентом PUE 1.09. Эта технология позволит Вымпелкому значительно снизить энергопотребление и достигнуть высоких уровней безопасности и надежности путем предупреждения загрязнения воздушного потока.
Предлагаемая AST модульная конструкция обеспечивает сертифицированную защиту от огня, воды, температурных воздействия, и несанкционированного вторжения, а также соответствует всем критическим параметрам европейских и мировых стандартов. Каждый модуль можно будет быстро заполнять ИТ-оборудованием и независимо вводить в эксплуатацию, и не ждать завершения строительства всего объекта. В действительности, этот дата-центр предназначался для удовлетворения будущих потребностей Вымпелкома в расширении, и, таким образом, позволит сводить до минимума начальные капитальные затраты.
Это будет первый модульный дата-центр Вымпелкома, который пополнит портфолио компании, которое состоит из 16 стационарных дата-центров общей площадью 17,000 квадратных метров, находящихся в Москве, на Дальнем Востоке, в Сибири, на Урале и в Поволжье.
Модель строительства модульного дата-центра, предложенная AST Modular, является очень гибкой и отвечает задачам компании по уменьшению эксплуатационных затрат и одновременном сокращении времени строительства и энергопотребления дата-центра, добавил Виталий Задорожный, директор отдела операционных рисков в Вымпелкоме.
AST Modular работает над реализацией проекта вместе с российским партнером, компанией LANIT. Валерий Шинкарук, вице-президент LANIT и Генри Даунерт, генеральный директор AST Modular сделали следующее совместное заявление: `Мы открываем новую эпоху в строительстве центров обработки данных в России. Наше модульное решение является масштабируемым и экологически чистым, и оно сокращает время вывода изделия на рынок. Сегодня модульность кажется одним из наиболее перспективных подходов в сфере высокотехнологичных дата-центров в России`.
2014: «Энвижн Груп» провела сертификацию ЦОД «ВымпелКома» в Uptime Institute
Осенью 2014 года эксперты «Энвижн Груп» провели сертификацию ЦОД Ярославского технического центра ОАО «ВымпелКом». Международная организация The Uptime Institute подтвердила соответствие ЦОД уровню Tier III.
Специалисты «Энвижн Груп» реализовали консалтинговый проект: собрали, проанализировали и подготовили проектно-эксплуатационную документацию по различным системам комплекса. Для получения сертификата о соответствии уровню Tier III требовалось доказать, что критически важные компоненты инфраструктуры имеют резервирование по схеме не ниже, чем N+1. Такой уровень резервирования не только гарантирует бесперебойность работы оборудования, но и позволяет проводить модернизацию и плановые ремонтно-профилактические мероприятия без остановки сервисов. Представители экспертной организации The Uptime Institute подтвердили, что ЦОД полностью соответствует классу Tier III.
Кроме этого, эксперты «Энвижн Груп» разработали и создали систему бесперебойного электроснабжения дата-центра в Ярославле. На площадке «ВымпелКома» применено редкое для России оборудование немецкой компании Piller. Каждый модуль ЦОД обеспечен двумя дизель-динамическими энергоустановками мощностью по 2МВт. Стоит отметить, что они гораздо экологичнее традиционных аккумуляторных систем, поскольку не требуют дорогой и технологически сложной процедуры утилизации аккумуляторов.
ЦОД нашей мечты в Ярославле: фото строительства и запуска
Вид с высоты птичьего полёта
Мы давно хотели построить ЦОД, мощности которого хватит на ближайшие 10 лет. С декабря 2011 мы рассказывали о его проектировании и своих мечтах. Теперь время показать первые результаты. Ярославский Технический Центр имеет уровень надёжности TIER III по классификации Uptime Institute. Сегодня ЦОДов такого уровня в России меньше десятка.
Сейчас проводятся тесты водяной системы охлаждения, завершаются работы в помещениях магистральной сети. Полный запуск ожидается в первых числах декабря после завершения этих работ и согласования госорганов ввода в эксплуатацию офисной части. Осторожно, трафик.
Хронология
В 2011 году было принято решения о строительстве Ярославского ЦОД ОАО “ВымпелКом”. С октября 2011 по август 2013 делался и сертифицировался проект, мы об этом писали (ссылки в конце поста). В июне 2012 начался нулевой цикл строительства здания (подготовка площадки, фундамент и т.п.), в декабре — капитальное строительство. В августе 2013 мы начали монтировать техническое оборудование, а в октябре 2014 запустили первый модуль ЦОД в эксплуатацию.
Выглядит наш объект как комплекс зданий, куда входят:
— главное здание;
— энергомодули для размещения системы бесперебойного питания на дизель-динамических источниках бесперебойного питания;
— распределительные подстанции;
— контрольно-пропускной пункт;
— котельная;
— топливохранилища;
— очистные сооружения;
— различные вспомогательные постройки.
Схема центра
В целом, всё происходило по плану, несмотря на ранее согласованные сроки. Строительные работы начинались по мере выпуска проекта на каждый объект и согласования проектной документации государственными органами.
Активная фаза строительства началась в декабре 2012 года. К этому моменту у подрядчиков на руках был проект на все вспомогательные здания, внутриплощадочные сети; начали с энергомодулей и КПП. В феврале 2013-го начались работы по строительству главного здания, в сентябре начался монтаж технологического оборудования ЦОДа.
Фотоматериалы о процессе строительства
Главное здание. Строительство фундамента:
Главное здание. Монтаж металлоконструкций центральной части здания и лестничных клеток:
Главное здание. Монтаж металлоконструкций — строительство ангара для модулей ЦОД. Длина пролёта — 40 метров:
Главное здание. Монтаж металлоконструкций — внутри каркаса здания возведена несущая конструкция модуля ЦОД:
Сладкий ноябрь. В прошлом году погода преподнесла подарок, благодаря которому мы начали монтировать машзал, практически, под открытым небом:
Такелажные работы по установке 23-тонного 3000-сильного дизельного двигателя 100-тонным краном:
Дизельный двигатель на штатном месте:
Монтаж трубопроводов системы водяного охлаждения:
Монтаж одного из трёх чиллеров, мы их ласково зовём паучками:
Монтаж структурированной кабельной сети в модуле ЦОД:
Ярославский технический центр в цифрах:
Инженерные сложности
В строительстве, как в любом другом проекте, может случиться что-то неожиданное (сбой поставки материалов, болезнь целой бригады рабочих, плохие погодные условия, несчастный случай и многое другое), из-за чего остановится работа сначала одной субподрядной организации, а затем, потенциально, и всей стройки. Эти риски «перемноженные» на количество подрядных организаций обуславливают вероятностный характер процесса строительства. Вероятностный характер принимает экстремальный вид, когда проект инновационный, и его участники должны решать задачи, с которыми ранее никогда не сталкивались. Как раз наш случай.
Сюрпризы бывают «штатные», которые укладываются в горизонты планирования, а бывают такие, которые требуют изменения проекта по ходу исполнения. Одной из наиболее сложных и ответственных задач был отказ от традиционной бетонной кровли, на которой изначальной планировалось установить металлоконструкцию цвета нашего полосатого логотипа. Выбор был сделан в пользу мягкой кровли с чёрно-жёлтой мембраной уже после начала активной фазы строительства. Такое решение позволило существенно снизить нагрузку на каркас здания и фундамент, что позволило сэкономить бюджет на материалах и оптимизировать сроки выполнения работ.
Одним из сюрпризов для проектировщиков стало осознание того, что такое глушитель дизель-генератора мощностью три тысячи лошадиных сил. На заводе в Германии во время приемки оборудования динамической системы бесперебойного питания, мы все фотографировались на фоне какой-то «подводной лодки», а потом подошёл сотрудник и сказал: «А это, ребята, ваш глушитель». Длина — 5,7 метров, масса — 1,5 тонны. Пока его везли в Ярославль, пришлось экстренно дополнять раздел о такелажных работах.
Одной из особенностей нашего ЦОД должен был стать поступенчатый запуск: мы планировали отстроить и оснастить одну секцию главного здания, а затем продолжить работы. Так вот, оказалось, что монтаж технологического оборудования в условиях продолжающихся строительно-монтажных работ — нетривиальная задача. Число вопросов, которые приходилось решать ежедневно, начало достигать максимума, ситуация накалялась, а аргументация при переговорах с зарубежными поставщиками доходила до «I don’t give a shit». В целом, всё оказалось возможным, но непривычным для всех участников процесса.
Кто-то из подрядчиков не справлялся и был вынужден покинуть проект: мы сменили генерального подрядчика, технического заказчика (экспертов-управленцев по капитальному строительству). Чтобы не нарушить сроки по отдельным работам, приходилось привлекать проверенных партнёров «Билайн».
Надо признаться в том, что опыта капитального строительства такого масштаба тогда у нас не было, что создавало дополнительные трудности. Например, сначала срок завершения строительства назначили на май 2013 года. Нереальная дата, с точки зрения, технологии работ, или хотя бы потому, что только в августе завершился этап проектирования. Мы вовремя сопоставили ситуацию с нашими возможностями и скорректировали сроки.
Быстро учились, привлекали новых людей, искали специалистов внутри компании, которые пришли в связь из строительства. Со временем у нас появилась команда, состоящая из опытных экспертов по капитальному строительству, энергосистемам, ИТ-инфраструктуре, транспортной сети. И в результате, смогли решать возникающие проблемы непосредственно на строительной площадке.
До начала строительства у нашего коллеги состоялся разговор с руководителем свежепостроенного фармацевтического завода, который сказал: «Главное — это закупки». Мы осознали эту истину. Малейшая ошибка при выборе исполнителя работ, и на вас свалится куча проблем: увеличится бюджет проекта, а дедлайны будут пролетать со свистом.
Один такой подрядчик быстро повышает уровень хаоса на стройке, его проблемы становятся проблемами всех. Он быстро забывает всё то, что пообещал вам на этапе тендера, и внезапно выясняется, что обещания зависят от множества новых факторов, неподвластных бедному подрядчику, которому нужно непременно помочь (чаще всего деньгами и согласованием увеличения срока). Если рассматривать стройку как экосистему, можно сказать, что эта зараза быстро распространяется, и вскоре в зоне поражения оказываются и другие подрядчики, которые начинают вести себя подобным образом. А если они так, почему мы должны стараться? В общем, всё, как в жизни, только на кону многие миллионы рублей.
Что мы теперь знаем
1. Проектная команда. Нужна команда из внешних или внутренних сотрудников, которая бы имела экспертизу во всех сферах проекта. В идеале каждый должен иметь опыт строительства ЦОДов. Это труднодостижимо или требует больших затрат, которые сложно обосновать руководству (обязательно озвучьте риски прежде, чем смириться). Ключевые сотрудники (руководитель проекта, его помощники, главный инженер проекта и др.) должны обладать таким опытом. У нас такая команда теперь есть.
2. Управление проектом. Нужна предельно понятная организационная структура, хорошая коммуникация между участниками, чёткие зоны ответственности, процессы принятия решения и обработки запросов от подрядчиков.
3. Планирование. График работ при капитальном строительстве может состоять из нескольких тысяч пунктов со сложной взаимосвязью. Нужен отдельный человек, который бы обновлял этот график еженедельно. Так у вас будет всегда ясная картина для принятия правильных решений.
4. Закупки (выбор поставщиков и исполнителей работ):
— при любой закупке экспертная группа должна быть достаточно компетентной. Нужны профессионалы ещё на этапе выбора концепции и составления технических заданий;
— работа отдела закупок должна быть оптимизирована с точки зрения специфики стройки;
— лучше уменьшить число контрагентов: один генеральный проектировщик (даже если в вашей компании уже есть действующий договор, например, по системам безопасности), один генеральный подрядчик;
— процедурой стоит предусмотреть наличие одного или двух резервных поставщиков по всем видам работ, которые бы могли включиться в проект при возникновении трудностей;
— отличная практика — страховка крупных договоров банковской гарантией;
— в объём работ генподрядчика включите ввод здания в эксплуатацию;
— толстые договора, в которых всё детально прописано, — это хорошо.
5. Экспертиза, консалтинг.
Нужно приглашать в проект экспертов по всем задействованным в проекте направлениям: проектированию ЦОД, капитальному строительству, монтажу технологического оборудования и др. До начала пусконаладочных работ стоит нанять независимую организацию, имеющую опыт в сфере ЦОД, которая поможет составить программу и методику испытаний. Под её контролем пройдут пусконаладочные работы, а также комплексные испытания всех систем ЦОД. Эти люди должны нести материальную ответственность за результат своей работы.
6. Служба эксплуатации.
Ещё до начала проектирования объекта найдите руководителя службы эксплуатации. Решения по проектированию и строительству здания должны быть сделаны с точки зрения эксплуатации (удобство, экономичность, минимальные риски и др.) От правильности выбранных решений будет зависеть надёжность и доступность ЦОДа.
Как полёт в космос
Основатель «Билайн» Дмитрий Зимин ставит подпись на ситуационном плане ЯТЦ
Ближе к концу строительства к нам приехал Дмитрий Зимин — основатель ОАО «ВымпелКом». Вообще, он приехал встретиться с местными журналистами, но мы позвали его на нашу стройку. Дмитрий Борисович оказался невероятно доброжелательным и искренним. А мы пытались представить, что же происходит у него на душе: когда-то его дело начиналось с одной базовой станции в стенах Радиотехнического института в Москве, а теперь он находится в другом городе и смотрит, как строится 10-мегаваттный ЦОД созданной им компании (а вот так всё начиналось).
Сейчас
Сейчас запущен в эксплуатацию один модульный ЦОД, предназначенный для размещения 236 стандартных телекоммуникационных стоек. Всего планируется запустить 6 таких залов, то есть всего в ЯТЦ можно будет разместить 1416 стоек.
Первоначальные расчеты показывали, что количество стоек в одном зале будет не более 200, но в ходе проектирования нам удалось увеличить этот показатель до 236.
Мы подвели магистральную сеть (но ещё не протестировали всё), гоняем тесты охлаждения. Как закончим — будет большая уборка, согласования и приёмка. После этого, в декабре, планируется первый уже «боевой» запуск.
О том, как мы всё это проектировали, можно почитать вот здесь: общее, про питание, про охлаждение. Это 2011-2012 год.