Яндекс (ИТ-инфраструктура)
Содержание
Дата-центры
По состоянию на начало 2018 года у «Яндекса» есть четыре дата-центра в Москве и Подмосковье, по одному дата-центру – в Рязанской области и Финляндии, а также ЦОД во Владимире.
Ранее «Яндекс» также использовал дата-центры в США и Нидерландах, однако после введения в эксплуатацию собственного большого дата-центра в Финляндии в 2015 году необходимость в аренде этих площадок пропала, рассказали TAdviser в компании.
Развитие ИТ-инфраструктуры «Яндекса»
2019: «Яндекс» сократил инвестиции в серверы и дата-центры
В 2019 году примерно 60% капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров, следует из годового отчета компании по форме 20-F, опубликованного в апреле 2020-го. В абсолютном выражении данные расходы составили порядка 12,3 млрд рублей из общих капитальных затрат в 20,5 млрд рублей. Это на 13% меньше, чем в 2018 году, когда на серверы и расширение дата-центров ушло порядка половины всех капитальных затрат «Яндекса»: 14,16 млрд рублей из 28,3 млрд рублей. Совокупные капитальные затраты компании в 2019 году сократились примерно на 27%.
Общая стоимость серверов и сетевой инфраструктуры «Яндекса» в 2019 году увеличилась почти на 20%, до 59,4 млрд рублей, а «инфраструктурных систем», которые тоже относятся к дата-центрам, выросла на 9%, до 9,5 млрд рублей. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений.
В «Яндексе» отказались отвечать на вопросы TAdviser, связанные с дата-центрами. В годовом отчете расширение вычислительной инфраструктуры компания связывает с необходимостью поддерживать рост на текущих и новых для «Яндекса» рынках.
В числе наиболее динамично растущих бизнесов в 2019 году оказались экспериментальное направление, включающее «Яндекс.Дзен», «Яндекс.Облако», «Яндекс.Драйв», геосервисы и «Яндекс.Образование», а также медиасервисы, куда входят «КиноПоиск», «Яндекс.Музыка», «Яндекс.Афиша», «Яндекс.Телепрограмма», продюсерский центр «Яндекс.Студия» и единая подписка на сервисы — «Яндекс.Плюс». Эти направления показали рост выручки на 168% и 103% соответственно.
Помимо дата-центров в Москве и других российских регионах, у «Яндекса» также есть площадка в Финляндии. Как и годом ранее, в 2019 году значительная часть капитальных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. Ранее в «Яндексе» поясняли, что речь идет о ЦОДе в Сасово, который был запущен в 2014 году.
В 2020 году, как и ранее, «Яндекс» планирует продолжить инвестировать в инфраструктуру и технологии. Примечательно, что помимо растущего бизнеса одной из причин, по которой могут потребоваться дополнительные мощности ЦОДов, «Яндекс» в годовом отчете указывает необходимость соответствовать требованиям, которые предъявляются к компаниям, включенным в реестр «организаторов распространения информации». Сначала туда попал сам «Яндекс», а в конце 2019 года туда же внесли его проект «Яндекс.Дзен».
Нахождение в реестре, в том числе, обязывает предоставлять в случае необходимости доступ к оборудованию и программно-техническим средствам, помощь правоохранительным и другим уполномоченным органам власти в обеспечении безопасности. Также предусмотрена обязанность «предоставлять информацию для декодирования электронных сообщений».
2018: Затраты на ИТ-инфраструктуру выросли на 41%
В 2018 году порядка 50% всех капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров для поддержания текущей деятельности. Это следует из годового отчета компании по форме 20-F за 2018 год. В абсолютном выражении эти расходы составили примерно 14,16 млрд рублей.
В «Яндексе» заявили TAdviser, что необходимость расширения инфраструктуры связана со «стремительным ростом сервисов и бизнеса».
Значительная часть указанных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. В «Яндексе» пояснили TAdviser, что под этим имеется в виду ЦОД в Сасово. Запущен он был в 2014 году.
В 2017 году значительная часть капитальных расходов на серверы и расширение дата-центров была связана со строительством дата-центра «Яндекса» во Владимире. По состоянию на 2018 год у «Яндекса» помимо ЦОДов в России есть также дата-центр в Финляндии.
2017: За пять лет стоимость ИКТ-инфраструктуры «Яндекса» выросла в 3,5 раза
Выросла и стоимость «инженерных систем» «Яндекса»: с 3,409 млрд рублей в 2013 году до 7,621 млрд рублей в 2017 году. В отчетах не уточняется, какие именно инфраструктурные системы имеются в виду. В «Яндексе» говорят, что здесь имеются в виду дата-центры компании.
В 2017 году «Яндекс» потратил на приобретение серверов и расширение дата-центров порядка 10 млрд рублей, что составило 81% от всех капитальных затрат компании. При этом и в 2017, и в 2016 гг. они в большой степени связаны с созданием нового дата-центра во Владимире, о запуске которого было объявлено в сентябре.
От года к году объем затрат на серверы и оборудование колеблется: так, например, в 2013 году их объем был 3,850 млрд рублей, а в 2015 году – около 11 млрд рублей.
В отчете также говорится рисках в области инфраструктуры, с которыми сталкивается «Яндекс». Компания отмечает, что ее будущий успех зависит от непрерывной доступности, развития и поддержки интернет-инфраструктуры глобально и на рынках, где работает «Яндекс». Это включает поддержку надежной магистральной сети с нужной скоростью, пропускной способностью и безопасностью для предоставления надежных интернет-сервисов. Любое прерывание доступа к сети, обеспечиваемого третьими сторонами, или их неспособность поддержать текущие или увеличенные будущие объемы использования могут существенно навредит бизнесу «Яндекса». При этом компания уже испытывала и продолжает испытывать прерывания и задержки в этих сервисах время от времени.
Интернет-инфраструктура также может оказаться неспособна выдержать нагрузку со стороны растущего числа пользователей или времени, проводимого онлайн, или увеличенные требования пропускной способности. Государственное регулирование также может ограничить доступ компании к адекватной и надежной интернет-инфраструктуре, говорится в отчете «Яндекса» без уточнения подробностей.
2016: «Яндекс» сокращает ЦОДы в Москве
«Яндекс» планирует перенести часть вычислительных мощностей из своих дата-центров в Москве в новый ЦОД во Владимире, рассказал руководитель группы исследований и разработки департамента эксплуатации «Яндекса» Павел Мельников, выступая на мероприятии компании Mellanox в марте 2016 года.
В качестве причины этого он упомянул дороговизну содержания дата-центров в Москве, главным образом, из-за высокой стоимости электроэнергии.
В компании добавили, что во Владимире сейчас идет этап возведения здания ЦОДа. Запустить этот дата-центр «Яндекс» рассчитывает в 2017 году.
Строительство ЦОДа во Владимире
В 2015 году «Яндекс» начал реализацию проекта по строительству дата-центра в поселке Энергетик Владимирской области. Представители администрации региона сообщали о том, что объем инвестиций в проект составит порядка 4,5 млрд руб.
ЦОД строится на участке площадью 6 га. Его полная мощность составит около 40 МВт, а первая фаза ЦОДа будет рассчитана на 10 МВт. По планам компании, новый ЦОД начнет работу в конце 2017 года.
Открытие дата-центра в Финляндии
В 2015 году «Яндекс» завершил строительство первой очереди дата-центра в финском городе Мянтсяля. Участок под его строительство площадью 8 га «Яндекс» приобрел за 1,5 млн евро в 2013 году. Дата-центры «Яндекса», как правило, размещаются в уже готовых строениях — например, в корпусах бывших заводов. Стройку же в Мянтсяля компания вела с нуля.
Система охлаждения, которая применяется в финском дата-центре, позволяет использовать тепло от серверов для отопления жилых домов. Поставляя городу тепло, «Яндекс» получил возможность возместить часть трат на электроэнергию — одну из самых крупных для дата-центра статей расходов, писала компания. [5]
В одном из блогов «Яндекса» говорится, что до начала проектирования финского дата-центра компания успела построить и частично закрыть 10 дата-центров. [6]
2013: План великой миграции серверов
«Яндекс» планирует строить новые высокоэффективные ЦОДы, в которые постепенно будут мигрировать мощности со старых площадок, рассказал TAdviser 19 марта 2013 г. Сергей Крупин, заместитель директора департамента строительства и инженерных систем интернет-компании. В них планируется внедрять передовые технологии, выбор которых будет опирается на опыт строительства и эксплуатации предыдущих ЦОДов, говорит он.
По словам Крупина, при строительстве новых площадок «Яндекс» будет ориентироваться на те регионы, в которых по климатическим параметрам сможет построить наиболее эффективную систему охлаждения ЦОДа.
В «Яндексе» рассказывают, что все последние ЦОДы компании построены с использованием тех или иных систем охлаждения с технологиями free cooling, включая и так называемые схемы Full free cooling, подразумевающие охлаждение серверных помещений за счет воздуха с улицы. Общая мощность таких ЦОДов компании превышает 15 МВт. Аналогичные технологии планируется применять и в будущих ЦОДах, куда мигрируют вычислительные ресурсы.
Технология Full free cooling, в частности, сейчас используется в ЦОДе «Яндекса» в подмосковном городе Ивантеевка, построенном в 2011 г., и в новом ЦОДе в Рязанской области, строительство которого завершилось в 2012 году.
В нем в качестве дополнительного охлаждающего оборудования применяется абсорбционно-холодильная машина, которая работает на природном газе. По словам представителей интернет-поисковика, она позволяет повысить эффективность использования энергоресурсов и снизить потребление электричества.
Сергей Крупнин отмечает, что внедрение любых энергосберегающих, инновационных или «зеленых» технологий предполагает высокие капитальные затраты, но позволяет существенно снизить эксплуатационные расходы. Поэтому определяющим фактором становится срок эксплуатации ЦОД. Если это долгосрочный проект (более 10 лет), то энергосберегающие технологии становятся окупаемыми.
Где именно будут располагаться новые площадки и каковы будут их параметры, в компании предпочли не раскрывать, отметив лишь, что по состоянию на март 2013 г. у «Яндекса» насчитывается шесть дата-центров, располагающихся как в России, так и за ее пределами. Часть серверов в своих ЦОДах компания на безвозмездной основе предоставляет Европейскому центру ядерных исследований (ЦЕРН).
Строительство новых площадок является одним из направлений развития ЦОДов «Яндекса», говорит директор департамента строительства и инженерных систем компании.
По словам Сергея Крупнина, другими направлениями по развитию ЦОДов компании является оптимизация существующих решений и применение серверов и инженерных решений нестандартной конфигурации, а также разработка механизмов «обратной связи» между ИТ-оборудованием и системами охлаждения ЦОД.
2012: Строительство дата-центра в Рязанской области
В 2012 году «Яндекс» начал создание ЦОДа в г. Сасово Рязанской области. Проект предполагает строительство в четыре этапа. Полностью завершить его планируется к 2020 году. Общий объем инвестиций в строительство дата-центра составляет 2,7 млрд руб. [7]
2011: Строительство ЦОДа в Ивантеевке
По состоянию на 2011 год у «Яндекса» в России есть пять дата-центров, крупнейший из которых расположен подмосковном городе Ивантеевка. В сентябре 2011 года «Яндекс» сообщил о запуске второй очереди своего дата-центра в подмосковном городе Ивантеевка. Общая площадь двух его очередей составляет 4,5 тыс. кв. м, из которых 2,2 тыс. кв.м. приходится на вторую очередь.
Во второй очереди нового дата-центра используется система охлаждения российской разработки – Full Free Cooling (FFC). Она основана на технологии свободного охлаждения (free cooling), при которой помещение дата-центра охлаждается за счет более прохладного воздуха с улицы.
Разработчиком этой системы является московская компания Ayaks Engineering. Ее представитель Андрей Нестеров заявил CNews, что «Яндекс» стал их первым клиентом, использующим систему FFC в своем дата-центре.
Согласно стандарту TIA-942 температура, которую необходимо выдерживать в серверных помещениях, составляет +22 градуса по Цельсию ± 2 градуса. В том или ином виде технологию free cooling используют во многих российских дата-центрах, однако главной особенностью своей системы в Ayaks Engineering называют температурный порог, при котором задействуется оборудование для охлаждения внешнего воздуха – он составляет +22 градуса. Т.е. система охлаждения включится только после того, как температура воздуха превысит это значение.
В «Яндексе» заявляют, что с использованием системы Ayaks Engineering новому дата-центру требуется в два раза меньше электроэнергии в год для поддержки того же количества серверов. Впрочем, некоторые эксперты считают, что в данном случае это сомнительное преимущество.
Евгений Громов, технический директор «Центра Хранения Данных», владеющего дата-центром SafeData, рассказал CNews, что их компания также рассматривала данную систему: «Ее плюс – в уменьшении затрат на электроснабжение, из минусов – в четыре раза большая цена по сравнению с классическими системами и более дорогое техническое обслуживание. При нынешних ценах на электроэнергию в России в коммерческом ЦОДе такая система не оправданна».
Система FFC представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОДа, в наружный контур подается уличный воздух. Основным элементом системы является роторный регенератор, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении ЦОДа. Задача роторного регенератора заключается в том, чтобы охладить воздух в дата-центре с +37 до +24 градусов наружным воздухом температурой до +22 градусов.
Из известных в России систем охлаждения схожий с FFC принцип работы на основе роторного теплообменника используется также, к примеру, в системе Kyoto Cooling, разработанной в Голландии.
Начало 2000-х: Первые дата-центры «Яндекса»
До мысли о создании собственных дата-центров Яндексу в тот момент было ещё далеко — индекс русскоязычного интернета целиком умещался на одном SCSI-диске размером 4Гб, а вся команда портала составляла около десяти человек, работавших в компании CompTek. Поэтому серверное оборудование Яндекса в первые три года его работы было размещено в дата-центре компании «МТУ-Интел». К моменту создания ООО «Яндекс» в 2000 году Яндекс арендовал четыре стойки в «МТУ-Интеле», где размещалось около 40 собственных серверов Яндекса.
Эти несколько десятков серверов и стали основой первого самостоятельного дата-центра Яндекса, который расположился в первом офисе компании — в Москве, на улице Вавилова, в вычислительном центре Российской академии наук.