Три человека были доставлены в больницу после получения тяжелых травм в результате «аварии в системе подачи электричества» дата-центра Google в Каунсил-Блаффс, штат Айова (США). Инцидент произошел 8 августа 2022 года.
Трое раненых и комментарий корпорации
Пациенты не теряли сознания и способности разговаривать, но были доставлены в Медицинский центр Небраски в критическом состоянии. Одного из пострадавших пришлось транспортировать на вертолете вследствие необходимости максимально быстрой перевозки. Остальные двое были доставлены на машине скорой помощи. Сейчас все трое находятся на лечении. По данным полиции и местных СМИ, травм, угрожающих жизни, удалось избежать.
В официальном заявлении Google по поводу данного инцидента отмечается следующее: «Здоровье и безопасность всех работников являются нашим абсолютным приоритетом, и мы тесно сотрудничаем с партнерами и местными органами власти, чтобы тщательно изучить ситуацию и оказать необходимую помощь пострадавшим».
Согласно предварительной информации, три электрика работали на подстанции недалеко от главного здания ЦОД на территории соответствующего кампуса, когда произошла вспышка дугового разряда, сопровождавшаяся сильным взрывом. В результате взрыва работники получили серьезные ожоги.
В Каунсил-Блаффс находится один из первых собственных дата-центров Google. Соответствующий проект был анонсирован еще в далеком 2007 году. Ввод нового ЦОД в эксплуатацию состоялся в 2009 году.
Перебои в работе сервисов Google
Пожары и взрывы в центрах обработки данных происходят редко, но в случае подобной чрезвычайной ситуации воздействие на организацию способно оказаться разрушительным, ухудшая имидж и приводя к финансовому ущербу.
Сообщается, что одним из следствий аварии в ЦОД стали перебои в работе сервисов Google. В частности, сбоить стали Поиск, Карты, YouTube. Согласно данным сайта Downdetector, отслеживающего сбои в работе интернет-платформ, более 30 тыс. пользователей сообщили о проблемах в работе продуктов Google через несколько часов после описанной выше аварии в системе электроснабжения ЦОД интернет-корпорации. Однако число сообщений о сбоях в работе сервисов Google быстро пошло на спад.
В частности, примерно в 21:00 по североамериканскому восточному времени пользователи Google начали замечать, что генерация результатов поиска в ответ на вбиваемые запросы занимают значительно больше времени, чем обычно. О проблеме сообщали пользователи в США, Великобритании, Австралии, Сингапуре и других странах.
По данным Downdetector, многочисленные проблемы, включая перебои в работе наиболее популярного поисковика планеты, продолжались в течение нескольких часов, достигнув пика примерно в 22:00, после чего жалобы на простои снова уменьшились, достигнув нормального уровня примерно в 23:30.
Участившиеся аварии в ЦОД Google
Несмотря на статус лидера мирового рынка поисковых сервисов и одного из крупнейших поставщиков облачных вычислительных мощностей, даже корпорация Google не способна обеспечить 100-процентный аптайм собственной инфраструктуры ЦОД.
Так, незадолго до аварии в Каунсил-Блаффс в офлайн ушли еще несколько дата-центров интернет-гиганта. В июле 2022 года центры обработки данных, принадлежащие Google и Oracle и располагающиеся в столице Великобритании, оказались отключены вследствие рекордной жары.
Обе корпорации сослались на проблемы с системами охлаждения серверов внутри собственных дата-центров, вызвавшие перебои в работе вспомогательной инфраструктуры, когда температура в британской столице превысила 40 градусов по Цельсию (104 градуса по Фаренгейту).
Google пришлось отключить некоторые облачные сервисы в Лондоне, чтобы предотвратить повреждение машин внутри ЦОД и продолжительное отключение. Команда местного дата-центра Oracle, в свою очередь, отключила некритическое оборудование, чтобы предотвратить неконтролируемые каскадные отказы критически важных элементов инфраструктуры.
От аварий не уберегли даже многомиллиардные инвестиции в инфраструктуру ЦОД
Бюджет корпорации Google является одним из крупнейших источников инвестиций в строительство новых серверных ферм и модернизацию уже существующих ЦОД в целом в мире. Новые серверы необходимы интернет-гиганту для удовлетворения постоянно растущих потребностей клиентов в облачных вычислительных ресурсах и поддержки пользователей прочих сервисов.
Ранее генеральный директор Google Сундар Пичаи объявил о планах инвестировать 9,5 млрд. $ в центры обработки данных и офисы только на территории США в одном лишь только 2022 году. Недавно корпорация запустила новый центр обработки данных стоимостью 750 миллионов $ в американской Небраске.
Завершения ожидают проекты по возведению ЦОД общей стоимостью в несколько миллиардов в американских штатах Джорджия, Айова, Оклахома, Невада, Теннесси, Вирджиния и Техас. Сегодня Google управляет 15 собственными кампусами ЦОД только в США и 24 по всему миру, включая 6 в Европе и 2 в Азии (Сингапур и Тайвань).
Что такое вспышка дугового разряда, и в чем ее опасность для инфраструктуры ЦОД?
Вспышка дуги — электровзрыв, генерирующий сильное тепло (температура может достигать 19,5 тыс. градусов по Цельсию / 35 тыс. градусов по Фаренгейту), а также способный повредить и даже расплавить электрооборудование. Подобные инциденты представляют серьезную угрозу безопасности рабочих и вспомогательной инфраструктуре ЦОД, которая обрабатывает огромное количество электроэнергии и обслуживает критически важное IT-оборудование.
Инциденты в ЦОД по причине вспышки дуги имели место и ранее, приводя к дорогостоящим отключениям инфраструктуры. В частности, в качестве примера можно привести произошедший в 2009 году инцидент в Fisher Plaza в Сиэтле (США), приведший к отключению крупного шлюза онлайн-платежей, что замедлило электронную коммерцию на глобальном уровне. Причиной аварии стала проблема с изоляцией. Владелец здания понес убытки на общую сумму в 6,8 миллиона $, связанные с пожаром, включая ремонтные работы и капитальное переоборудование постройки.
По сообщениям СМИ, во время строительства и испытаний центра обработки данных американского Агентства Национальной Безопасности (АНБ) в штате Юта произошла серия инцидентов с вспышками дуги, приведших к значительному повреждению оборудования.
Дуговая вспышка является источником серьезных рисков для безопасности рабочих. По данным ряда исследований, десятки тысяч рабочих по всему миру ежегодно получают инвалидизирующие травмы от контакта с электрическим током.
В индустрии ЦОД проблема вспышки дуги и связанные с ней опасности обсуждаются уже давно. В частности, инженеры Facebook / Meta и Schneider Electric на осенней конференции 7×24 Exchange в 2017 году подробно рассказали о серии событий, связанных с дуговыми разрядами в центре обработки данных Facebook в Швеции, и о том, как проведенный компанией анализ предотвратил иные потенциальные инциденты.
Генеральный директор колокейшн-провайдера Compass Datacenters Крис Кросби на конференции Data Center World 2014 призвал поставщиков услуг ЦОД взять на себя обязательства по вводу в эксплуатацию новых центров обработки данных с проведением комплексного тестирования всех критически важных электромеханических систем для минимизации риска вспышки дуги.