Социальная сеть Facebook насчитывает почти миллиард зарегистрированных пользователей и ежеминутно выполняет сотни миллионов трансакций. Несомненно, что для компании такого масштаба уже давно назрела необходимость иметь свой собственный датацентр. Поэтому когда в апреле 2011 года компания таки открыла свой первый центр обработки данных в штате Орегон, все восприняли это как должное.
На сооружение объекта ушло порядка двух с половиной лет, на этапе строительства здесь работало около 250 человек. В настоящий момент в ЦОД работает 64 сотрудника в режиме полного рабочего дня.
В датацентре используется архитектура Open Compute Project, в рамках которой Facebook опубликовал спецификации по созданию материнских плат, источников питания, серверных шасси, а также серверных шкафов для своих датацентров. Подобный шаг является беспрецедентным для такого крупного бизнеса как у Facebook, поскольку компания отвечает за безопасность сотен миллионов своих пользователей.
КПД использования энергии
показатели КПД использования энергии
Параметр PUE – это стандартный показатель измерения энергоэффективности датацентра. Он определяется как соотношение общей суммы потребляемой электроэнергии к объему электроэнергии, расходуемого только на ИT-инфраструктуру. Чем ниже номер, тем лучше; значение PUE=1,0 является минимально возможным. Агентство по охране окружающей среды США рекомендует не выходить за пределы 1,5. Однако в датацентре Facebook этот показатель лежит в диапазоне от 1,05 до 1,18, что является очень хорошим результатом.
Солнечные панели
солнечные панели как дополнительный источник питания
Facebook уделяет очень большое внимание пресловутому углеводородному следу и поэтому использует солнечные батареи в качестве дополнительного источника питания. На заднем плане виден второй датацентр Facebook, он пока еще не достроен. Этот объект будет использоваться только в качестве хранилища для нужд социальной сети, включая все фото, видео, документы, кешированные веб-страницы, пользовательскую информацию и т. д.
Климатические условия
в штате Орегон очень переменчивый климат
Летом здесь в основном засушливый и довольно жаркий климат. Например, в августе температура достигала +34С. Напротив, зимы могут быть очень холодными. Поэтому оборудование датацентра должно гибко и в автоматизированном режиме поддерживать одну и ту же температуру внутри помещения при огромном перепаде наружных температур.Первоначально Facebook заявила, что строительство собственного датацентра обошлось в $210 млн. Однако с тех пор компания вложила в проект ещё довольно круглую сумму.
«Магазинные» серверы
«купленными в магазине» сервера
Около 50% оборудования в датацентре сотрудники называют «купленными в магазине» серверами от Rackable, Dell, HP, IBM и других вендоров. Однако их число постепенно сокращается, поскольку подходит к концу стандартный для этих серверов трёх- или пятилетний срок службы. Ведь диски этих серверов работают в режиме 24/7 и в основном — на максимальной скорости.
Специализированные стойки Facebook MemCache
стойки серверов Facebook MemCache
Директор Кен Патчетт показывает стойки специализированных серверов Facebook MemCache, которые оптимизированы для перемещения веб-контента. Внутри этих машин вы не найдёте видеокарт или чего-либо лишнего.
Близкий взгляд на сервер 1Гбит/с
сервер 1 Гбит/с
Этот разработанный по спецзаказу сервер 1 Гбит/с предназначен для скоростной перегонки огромных объёмов веб-данных для всех 900 миллионов пользователей. Представители компании не рискнули сказать, как много таких серверов используется в датацентре. Но можно прикинуть приблизительно. Всего в помещении, которое Facebook называет залом данных, находится 14 серверных коридоров. В каждом полукоридоре установлено примерно 20-25 стоек с серверами, в среднем каждая из них содержит двадцать два 19-дюймовых сервера. Несложно подсчитать, что в общей сумме получается около 15 400 серверов, то есть по 7700 с каждой стороны центрального прохода.
Близкий взгляд на сервер 10 Гбит/с (10)
сервер 10 Гбит/с
Это специализированный сервер 10 Гбит/с содержит только всё самое необходимое, подобно своему предшественнику 1 Гбит/с — только он меньше и более мощный. Инженеры компании заменяют старые машины, которые уже отслужили свой срок, на более новые, построенные по заказу.
Зона особого внимания
зона особого внимания
Все финансовые трансакции и операции с персональными данными выполняются на серверах, расположенных в особо надежно охраняемой зоне. Далеко не каждый менеджер может пройти сюда, а те, кто там пребывает – находятся под постоянным видеоконтролем.
Транспорт в датацентре
электрокарты для доставки новых устройств
Технические сотрудники Facebook используют электрокарты собственной конструкции для доставки новых устройств и запасных компонентов взамен вышедших их строя. Каждый сервер соединён с другими, поэтому когда диск или другой компонент перестаёт работать, вычислительная нагрузка перераспределяется между другими серверами.