24/799,98%SLA
О ЦОДе начистоту: как мы решали проблему пыли в серверных помещениях дата-центра

О ЦОДе начистоту: как мы решали проблему пыли в серверных помещениях дата-центра

  • Когда: 28 Марта 2019 г.
Привет, Хабр! Я Тарас Чирков, директор ЦОД Linxdatacenter в Санкт-Петербурге. И сегодня в нашем блоге я расскажу о том, какую роль в нормальной работе современного дата-центра играет поддержание чистоты в помещении, как правильно ее измерять, достигать и поддерживать на нужном уровне. 

Триггер чистоты


Однажды к нам обратился клиент дата-центра в Санкт-Петербурге по поводу слоя пыли в нижней части стойки с оборудованием. Это и стало отправной точкой расследования, первые гипотезы которого предполагали следующее: 

  • пыль попадает в серверные залы с подошв обуви сотрудников и клиентов дата-центра,
  • заносится через систему вентиляции, 
  • и то, и другое.

Синие бахилы – на свалку истории


Начали с обуви. На тот момент проблема чистоты решалась традиционным способом: контейнер с бахилами при входе. Эффективность подхода не достигала желаемого уровня: контролировать их использование гостями ЦОДа было тяжело, а сам формат – неудобен. Быстро отказались в пользу более продвинутых технологий в виде бахильной машины. Первая установленная у нас модель такого аппарата провалилась: машина слишком часто рвала бахилы при попытке надеть их на обувь, ее использование больше раздражало, чем облегчало жизнь. 

Обращение к опыту коллег в Варшаве и Москве не решило задачу, и в итоге выбор был сделан в пользу технологии наплавления термопленки на обувь. С помощью термопленки можно надеть «бахилы» на обувь с любой подошвой – вплоть до тонкого женского каблука. Да, пленка тоже, бывает, соскальзывает, но куда реже, чем классические синие бахилы, а сама технология – в разы удобнее для посетителя и современнее. Еще важный (для меня) плюс – пленка легко покрывает самые большие размеры обуви, в отличии от традиционных бахил, рвущихся при попытке надеть их на 45-й размер. Для пущей современности процесса установили урны с автоматизированным открытием крышки по датчику движения.

Выглядит этот процесс так:  


Гости сразу оценили новшество. 

Пыль на ветру


Приведя в порядок наиболее очевидный канал возможного загрязнения пространства, мы взялись за более тонкие материи – за воздух. Вполне вероятно, что значительная часть пыли поступает в серверные через вентиляцию ввиду недостаточной фильтрации, или заносится с улицы. Или всё дело в низком качестве уборки? Расследование продолжилось.

Мы решили взять замеры содержания частиц в воздухе внутри дата-центра и пригласили для проведения этих работ лабораторию, специализирующуюся на контроле качества воздуха в чистых помещениях специального назначения. 

Сотрудники лаборатории замерили количество контрольных точек (20), составили расписание забора проб для отслеживания динамики и создания максимально точной картины. Стоимость полного процесса замеров лабораторией составила около 1 млн. руб., что показалось нам совершенно нецелесообразным, однако дало ряд идей для самостоятельной реализации. Попутно стало понятно, что лаборатория – это хорошо, но анализы надо проводить в динамике и постоянно обращаться к их услугам крайне неудобно.

Посмотрев на планируемые действия лаборатории, решили посмотреть на более утилитарные устройства для самостоятельной работы. В итоге нам удалось найти необходимый для данной задачи инструмент – анализатор качества воздуха. Вот такой:


Прибор показывает содержание частиц разного диаметра (в микрометрах).

Пересматривая стандарты


Этот прибор анализирует количество частиц, температуры, влажности и показывает результаты в единицах измерения соответственно со стандартами ISO по данному параметру. На дисплее видны уровни содержания частиц с разными диаметрами в пробе воздуха. 

Параллельно грешили на фильтры: на тот момент использовали внутри серверных помещений модели фильтров G4. Эта модель обеспечивает грубую очистку воздуха, поэтому допускали вероятность пропуска частиц, приводивших к загрязнению. Решили закупить на пробу фильтры тонкой очистки F5, применяемые в системах кондиционирования и вентиляции в качестве фильтров второй ступени очистки (доочистки).

Расследование провели – можно приступать к контрольным замерам. В качестве ориентира решили использовать требования стандарта ISO 14644-1 по количеству взвешенных частиц.


Классификация чистых помещений по количеству взвешенных частиц.

Казалось бы – измеряй и сравнивай по таблице. Но не все так просто: на практике оказалось достаточно затруднительно найти стандарты чистоты воздуха для серверных помещений ЦОДа. В явном виде это нигде не прописано, ни одной организацией или отраслевым институтом. И только на внутреннем форуме Uptime Inside Track (доступ к нему имеют лица, прошедшие обучение по программам Uptime Institute) нашлась отдельная дискуссия на эту тему. По итогам ее изучения склонились к ориентации на стандарт ISO 8 – предпоследний в классификации. 

Первые же замеры показали, что мы себя недооценивали – результаты проверок внутреннего воздуха дали соответствие требованиям ISO 5 во внутренних помещениях, что значительно превышало желаемые участниками Uptime Inside Track нормативы. При этом – с большим запасом. У нас дата-центр, а не биологические лаборатория, конечно, но, чтобы концентрация частиц в воздухе была равна ISO 8 – это должен быть объект класса минимум «цементный завод». И как можно применять тот же стандарт к дата-центру – не очень понятно. При этом, результат на ISO 5 мы получили, делая замеры при фильтрации воздуха фильтрами G4. То есть, пыль в стойки через воздух попадать не может, фильтры F5 оказались избыточными, и их даже не стали применять.

Отрицательный результат – тоже результат: мы продолжили поиски причины загрязнения в других направлениях, а контроль качества воздуха включили в ежеквартальные проверки, совместив со проверками датчиков BMS поверенными устройствами (требования ISO 9000 и аудитов клиентов).

Ниже – пример отчета, который заполняется на основании данных, полученных при замере. Для большей точности замеры производятся двумя приборами – Testo 610 и датчиком БМС. В шапке таблицы указаны предельные значения для приборов. Отклонение указанных параметров автоматически выделяется цветом для облегчения идентификации проблемных участков или временных периодов.

У нас все четко: разница в показателях приборов минимальна, а концентрация частиц намного ниже предельной границы.

Через черный вход


Так как в чистые помещения имелись еще и другие входы помимо главного входа для клиентов, где мы установили бахильную машину, оставалась необходимость исключения попадания грязи в ЦОД через них.

Надевать/снимать бахилы во время процедур по разгрузке оборудования неудобно, поэтому нашли автомат для чистки подошв. Удобно, функционально, но сказывается человеческий фактор в виде необязательности подхода к этому аппарату. По сути, тоже самое, что с бахилами на главном входе. 



Для решения задачи стали искать варианты очистки, от которых нельзя уклониться: с этим лучше всего справлялись липкие ковры с отделяемыми слоями. В процессе авторизации у входных дверей, посетитель обязательно встает на такой коврик, удаляя лишнюю пыль с подошв своей обуви.


Уборщицы отрывают верхний слой такого коврика каждый день, всего в нем 60 слоев – хватает примерно на 2 месяца.

Посетив ЦОД Ericsson в Стокгольме, в числе прочего я обратил внимание на то, как решают эти вопросы там: наряду с отрываемыми слоями в Швеции используют многоразовые антибактериальные ковры Dycem. Идея понравилась из-за принципа многоразовости использования и возможности обеспечить большую площадь покрытия.


Волшебный антибактериальный ковер. Жаль, не самолет, а мог бы – по такой-то цене!

С трудом нашли в России представителей компании и произвели оценку стоимости решения для нашего дата-центра. В итоге получили цифру почти в 100 раз дороже решения с многослойными коврами – примерно тот же самый 1 млн рублей, что и в проекте с замерами чистоты воздуха. Кроме того, выяснилась необходимость использования спецсредств для очистки, естественно, доступных только у этого производителя. Решение также отпало само собою, остановились на многослойном варианте.

Ручной труд


Особо хотелось бы обратить внимание, что все указанные меры не отменяли использования труда уборщиц. В рамках подготовке к аттестации ЦОДа Linxdatacenter по стандарту Uptime Institute Management & Operations требовалось четко регламентировать действия сотрудников службы клининга на территории ЦОДа. Были составлены подробные инструкции, предписывающие, где, что и каким образом им необходимо делать. 

Пара выдержек из инструкции:





Как видно, прописывается всё, буквально каждый аспект работы в конкретном помещении, допустимые для использования чистящие средства, материалы и т.д. Без внимания не остается ни одна деталь, даже самая мелкая. Инструктаж – под подпись каждого сотрудника службы. В серверных помещениях, электро-помещениях и т.д. они убираются только в присутствии уполномоченных сотрудников ЦОДа, например, дежурного инженера. 

Но и это еще не всё


Также в перечне мер, гарантирующих чистоту в ЦОДе: обходы с визуальным осмотром помещений, в том числе еженедельные осмотры стоек на предмет обнаружения оставленных внутри них обрезков проводов, остатков упаковок от оборудования и компонентов. По каждому такому эпизоду заводится инцидент, клиент получает уведомление о необходимости устранения нарушений в кратчайшие сроки. 

Также, для распаковки и настройки оборудования нами создана отдельная комната – это тоже часть клининговой политики компании.  

Еще одна мера, которую мы почерпнули из практики Ericsson — поддержание постоянного подпора воздуха в серверных помещениях: внутри помещений давление больше, чем снаружи, чтобы не было тяги внутрь – об этом решении подробнее расскажем в отдельном материале. 

Наконец, мы завели себе роботов-помощников для помещений, которые исключены из перечня доступных для посещения клининговым персоналом. 


Решетка сверху не только дает +10 к защите робота, но и позволяет ему не застревать под вертикальными кабельными лотками стоек.

Неожиданная находка как вывод


Чистота в ЦОДе важна для эксплуатации серверного и сетевого оборудования, которое тянет воздух через себя. Превышение допустимых показателей запыления приведет к скоплению пыли на компонентах и суммарному повышению температуры в пределах до 1 градуса по Цельсию. Пыль снижает эффективность охлаждения, что в пересчете на год может оборачиваться заметными косвенными издержками, а также влиять на отказоустойчивость объекта в целом.  Можно сказать, что это умозрительное допущение, но эксперты Uptime Institute, проводившие сертификацию ЦОДа Linxdatacenter по стандарту качества операционного управления (Management & Operations) уделяют самое серьезное внимание чистоте. И тем более приятно было получить по этому направлению самые лестные оценки: требования сертификации наш дата-центр в Петербурге серьезно превышает. Эксперт института назвал нас «самым чистым ЦОДом, который он видел», более того, наш ЦОД используется Uptime в качестве примера решения вопроса с чистотой серверных помещений. Также, мы с легкостью проходим любой клиентский аудит по этому параметру – самые серьезные требования самых капризных клиентов удовлетворяются с превышением. Вернемся к началу истории. Откуда же взялись загрязнения по той самой жалобе из начала статьи? Та часть стойки клиента, которая стала причиной запуска всего проекта «чистота в ЦОДе», была загрязнена с момента ввоза и установки стойки в дата-центр. Клиент не очистил стойку к моменту ввоза в серверное помещение – при проверке соседних стоек, установленных в то же время, выяснилось, что там с пылью та же самая ситуация. Эта ситуация послужила поводом для добавления пункта контроля очистки в клиентский чек-лист по установке стойки. О вероятности подобных вещей также никогда нельзя забывать = предупрежден, значит, вооружен. Это всё о «чистоте и диктатуре» в нашем ЦОД, в следующей статье расскажу о датчиках давления, а пока задавайте вопросы в комментариях.

Последние новости

Наверх