Иммерсионное охлаждение что это

Иммерсионное охлаждение или как не пустить деньги на воздух

Сегодня, если спросить у любого знакомого, который хоть краем уха слышал про майнинг, что для этого нужно, он ответит – мощное оборудование. А вот опытный майнер знает, что помимо оборудования нужно организовать соответствующую инфраструктуру, для того чтобы это оборудование работало эффективно. Другими словами, если не обеспечить свою ферму правильной системой охлаждения, то вместо потенциально обеспеченного будущего, можно просто остаться со сгоревшими через пару месяцев работы асиками и видеокартами. Ну и кредитами, на которые все это было куплено. Чтобы избежать такого сценария попробуем разобраться из чего складываются эти риски, какие существуют альтернативы и в каких случаях применимы.

У большинства современных «фермеров» железо охлаждается одним из самых распространенных, привычных и, при этом, слабо эффективных видов теплоносителя — воздухом. Более грамотные майнеры уже знают о преимуществах применения системы иммерсионного охлаждения, в то время как их менее опытные “коллеги” все еще достаточно скептически относятся к такого рода изыскам.

Но не будем спешить и постараемся все разложить по полочкам. Начнем с ответа на вопрос: «Почему вдруг охлаждение воздухом стало неэффективно, если все этим пользуются?» Дело в том, что спрос на вычислительное оборудование за последние годы резко увеличился благодаря востребованности технологии блокчейн и динамичности рынка криптовалют. Если для майнера-любителя воздушное охлаждение всё еще может быть актуально, то для больших ферм это превращается в головную боль. Да, когда-то охлаждение воздухом было единственным способом отвода тепла, так как не было лучшей альтернативы. Но сегодня они есть и спрос на такие системы охлаждения медленно, но уверенно растет. Так что как минимум рассмотреть существующие варианты как бывалым майнерам, так и тем, кто только знакомится с этой деятельностью, лишним не будет.

Пример: для отвода тепла с 10 Asic Antminer S9 с потребляемой мощностью около 1350 Вт каждый, необходимо 4 000 куб.м воздуха в час. При переводе даже на минимально рентабельную ферму с таким подходом к охлаждению необходимы дополнительные затраты на оборудование помещения, установку вентиляции и профессиональных кондиционеров, обслуживание которого стоит недешево, которые, к тому же, потребляют дополнительное электричество. При этом, с воздушным охлаждением, все еще остается такая серьезная проблема, как пыль. Частички пыли накапливают статическое электричество, которое может привести к выходу из строя оборудования в долгосрочной перспективе.

А шум? 1 асик создает шумовой фон в 75дБ, который в принципе можно и потерпеть. Но, представьте себе шум, когда таких же асиков 10, 100, 1000…и человека который в наушниках присматривает за фермой круглосуточно.

Производительность также зависит от эффективного отвода тепла. Все мы знаем, что мощность видеокарт обусловлена хэшрейтом. Максимальный хешрейт достигается разгоном видеокарты, а разгон требует более эффективного охлаждения. Но и здесь стоит отметить нюанс: одни элементы видеокарты нагреваются больше, чем другие, и работа в постоянном режиме максимальной производительности так или иначе сказывается на сроке эксплуатации видеокарты в целом, т.к. у воздушного охлаждения отсутствует термостабильность.

Тем не менее, не смотря на описанные проблемы, майнеры не спешили переходить на альтернативные системы охлаждения, поскольку их использование было не выгодно, ведь до недавнего времени и они не были избавлены от общих недостатков: дороговизны, сложности монтажа, малой плотности размещаемого оборудования. Однако с появлением крупных игроков, увеличением инвестиций, количества оборудования и затрат на электроэнергию, начали появляться новые, более инновационные подходы к охлаждению оборудования.

В результате проведенных исследований, команда BiXBiT представила комплексное решение для размещения оборудования для майнинга – мобильный модуль с системой иммерсионного охлаждения. Использование именно иммерсионной системы охлаждения решает основные проблемы, с которыми сталкиваются сегодня майнеры.

Теплопроводность жидкости в 25 раз выше, чем при воздушном охлаждении, что, в свою очередь, значительно увеличивает степень термостабильности внутри установки. За счет этого, время службы оборудования увеличивается и соответствует сроку, заявленному производителем (а в некоторых случаях превышает).

Например, процессор, загруженный на 100%, при температуре окружающей среды 32ºC демонстрирует среднюю температуру ядра 85ºC. При погружении в жидкость того же процессора с температурой среды 34ºC средняя температура ядра будет составлять уже 65ºC. Такая высокая теплопроводность и термостабильность жидкости позволяют сильнее разогнать оборудование, тем самым повысить его производительность на 20-40% в зависимости от поставленных задач.

Применение системы иммерсионного охлаждения устраняет основные причины выхода электроники из строя: перепады температур из-за подачи неравномерно охлажденного воздуха, перегрев. Также исключает возможность попадания на устройства пыли и мелкого мусора. Еще одной особенностью применения иммерсионного охлаждения является высокая степень компоновки размещаемого оборудования. В стандартном морском контейнере размером 10 футов помещается в 2,5 раза больше ASIC и в 6 раз больше видеокарт, чем при воздушном охлаждении. Это достигается за счёт отсутствия необходимости в создании холодных и горячих коридоров, установке дополнительной вентиляции и профессиональных кондиционеров. Что, кстати, снижает затраты на электроэнергию и оборудование помещения для майнинга. Например, экономия на 864 видеокартах при потребляемой комплектом кулеров мощности в 6 Вт составит более 3700 кВт-ч в месяц. Для 192 устройств ASIC при потребляемой комплектом кулеров мощности 70 Вт экономия составит почти 10000 кВт-ч в месяц. Более того, такие установки работают бесшумно за счет демонтажа штатных систем охлаждения устройств.

При погружении оборудования в жидкость, штатные системы охлаждения, генерирующие основную долю шума, демонтируются, что позволяет установкам работать практически бесшумно. К тому же, использование иммерсионной системы охлаждения безопасно, так как для воспламенения жидкостей необходима температура не ниже 120-130 ºC.

Текущий рынок испытывает недостаток решений, способных демонстрировать ту же простоту и эффективность, как погружное охлаждение. Подход BiXBiT к охлаждению позволяет экономить на электроэнергии, продлевать эксплуатационный период оборудования и, как итог, повышать его производительность. К тому же, все это безопасно, бесшумно и не требует какого-то специального обслуживания, так как большинство современных теплоносителей не требуют особого ухода и частой замены.

Самое главное о блокчейн-индустрии в нашем телеграм-канале!

Что такое иммерсионная жидкость («сухая вода») и где ее применяют?

Иммерсионная жидкость – это техническая жидкость, имеющая определенную формулу (у многих производителей они запатентованы), имеющая такие уникальные свойства как:
Негорючесть, низкую токсичность, инертность, высочайшие диэлектрические свойства.

Таким образом, данная жидкость не вступает в химическую реакцию практически ни с чем и является абсолютным диэлектриком, что позволяет использовать ее в контакте с любым электронным оборудованием без последствий для него.

ВАЖНО! Применение данной жидкости абсолютно безопасно для любого оборудования, а также для людей работающих с ней.

Применение данных жидкостей в промышленных масштабах началось много лет назад и по сей день имеет очень широкий спектр. Например, для охлаждения стоек оборудования в дата-центрах (ЦОД), в системах пожаротушения опасных и ценных объектов (архивы, дата-центры и т.д.), где последствия пожаров наносят часто гораздо больше вреда, чем сам пожар.

Традиционно при строительстве нового дата-центра около 35% капитальных затрат расходуется на охлаждающее оборудование, а впоследствии на него приходится еще 50% эксплуатационных расходов. Количество данных, которые необходимо хранить растет в геометрической прогрессии, стимулируют спрос на более и более крупные центры обработки данных (ЦОД), наряду со значительными инвестициями, понятно, что необходимо искать все более экономичные и эффективные технологии охлаждения.

Многочисленные исследования доказывают, что процесс жидкостного охлаждения имеет очень высокий коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) это позволяет добиться феноменальных показателей с точки зрения эффективности и экономичности данной технологии.

Таким образом, жидкостное охлаждение подходит для абсолютно любых майнеров — асиков (Antminer S9, L3+, D3 и др.) и видеокарт NVIDIA Geforce 1070 GTX, 1060 GTX, AMD Radeon RX 470, 480 ,580 и т.д.)

Принцип работы иммерсионного жидкостного охлаждения для майнинг ферм

Принцип достаточно простой для понимания. Поскольку охлаждающая жидкость абсолютно инертна, нетоксична и является диэлектриком, мы без каких-либо опасений погружаем работающую ферму, будь то ASIC (асик) Antminer S9 или блок из видеокарт в контейнер жидкостью. Оборудование работает и выделяет тепло, которое нагревает жидкость. Теплоемкость жидкости в 4000 раз выше теплоемкости воздуха, что позволяет отводить тепло гораздо меньшим объемом теплоносителя.

В данном случае основная задача сводится к тому, чтобы качественно отводить тепло от самой жидкости и поддерживать температуру такой, чтобы температура на чипах майнеров не превышала допустимую и позволяла работать на максимальной производительности без перебоев.

Рис. 1 – Пример работы электроники в охлаждающей жидкости

Эксперимент с жидкостным охлаждением майнинг фермы

Проводя первые эксперименты в нашей лаборатории, мы нервно наблюдали, как компьютерная система под напряжением, включенная и мигающая, медленно погружалась в чистую, водянистую жидкость. Каждый ребенок с детства знает, что жидкость и электричество несовместимые вещи, поэтому было совершенно невообразимо наблюдать за безупречной работой компьютера, полностью погруженного в то, что казалось ничем иным, как водой.

Во всем мире существует достаточно много производителей жидкостей, предназначенных для многих целей работы с электронной техникой, которые позволяют в том числе и охлаждать ее.

Собственно сам эксперимент с майнинг фермой:

Мы провели ряд испытаний с применением нескольких видов жидкостей. Основной задачей при подборе жидкости было скорее найти состав с наиболее хорошими теплофизическими свойствами, что соответственно повышает эффективность теплообмена.

Эксперимент проводился на стендовом образце с фермой из 6 видеокарт Nvidia Geforce GTX 1070 с суммарной мощностью около 1,2 кВт. Охлаждение жидкости было реализовано с помощью обыкновенной системы холодного водоснабжения.

Оборудование было погружено в аквариум и полностью залито жидкостью. Для большей равномерности охлаждения и температуры самой жидкости была обеспечена циркуляция, с помощью циркуляционного насоса. Испытания проводились на протяжении нескольких дней. Были исследованы все возможные режимы работы.

Рис. 2 – Пример работы видеокарты Nvidia Geforce в охлаждающей жидкости

Результаты подтвердили все наши ожидания и расчеты:

• Оборудование работает стабильно и без перегревов.
• Меняя различные параметры нам без особых усилий удается добиться повышения производительности карт на 15%, но мы уверены, что и это далеко не предел.
• Регулируя систему охлаждения мы легко смогли установить необходимый тепловой режим с минимальным расходованием холодной воды и соответственно минимизировать затраты.
• Для охлаждения чипов видеокарт не нужны вентиляторы

Преимущества применения жидкостного иммерсионного охлаждения для майнинга

На основании ряда фактов:

• Многолетний мировой опыт применения технических жидкостей в различных сферах промышленности
• Гарантийные обязательства производителей технических жидкостей
• Наши лабораторные испытания
• Анализ и расчеты

Мы нашли несколько существенных преимуществ данного способа охлаждения применительно к оборудованию для майнинга:

• Производительность оборудования повышается минимум на 10-15%.
  Этот показатель зависит от самих майнеров – асики или видеокарты. Различные модели имеют ряд собственных особенностей и ограничений для разгона, но приложив некоторые усилия при возможности поддержания температуры на чипе не больше 40-50°С можно достичь даже больших показателей.
• Срок службы оборудования
  Асики и видеокарты гораздо медленнее изнашиваются, когда находятся при постоянной температуре в рабочем диапазоне и не перегреваются. При отсутствии системы охлаждения, майнеры постоянно отключаются по перегреву.
• Бесшумность работы
  Майнеры в жидкости работают совершенно бесшумно. Помимо того, что вентиляторы самих асиков или карт отключены, также отсутствует шум от воздушной системы охлаждения, которая по уровня шума для больших мощностей сопоставима с мощностью вентиляции промышленных цехов.
• Размеры ферм
  В контейнере с иммерсионной жидкостью размерами к примеру 1,5х1,5 м можно плотно разместить оборудования на 20-30 кВт без каких-либо сложностей. Таким образом, мощность фермы на 100 кВт можно разместить на площади 5-10 м2.
• Снижение стоимости видеокарт
  Для качественного жидкостного охлаждения асиков или видеокарт нет надобности в вентиляторах (кулерах) на самих майнерах. Соответственно можно заказывать с завода по сути голые чипы — без вентиляторов, корпусов и т.д. Таким образом, стоимость самих карт снижается как минимум на 20-30%, к тому же уменьшаются ее габаритные размеры, что позволяет компоновать ферму еще более плотно.

Сравнение жидкостного и воздушного охлаждения

Для наглядности преимуществ и недостатков можно сравнивать жидкостное и воздушное охлаждение — классическая система вентиляции и кондиционирования. В данном случае все преимущества, о которых мы уже рассказали и являются по сути преимуществами в сравнении с воздушным охлаждением.

В целом конечно воздушное охлаждение вполне хорошо выполняет свою функцию, и требует не менее серьезных и качественных расчетов. С его помощью можно обеспечить также абсолютно бесперебойную и надежную работу оборудования круглый год, хотя как известно летом охлаждение майнинг ферм осуществляется более трудным путем, нежели в зимний период года.

Из недостатков иммерсионного охлаждения, можно отметить:

• Высокая сложность расчетов
• Малое количество компетентных специалистов на рынке
• Труднодоступность необходимой жидкости
• Высокая цена

Тем не менее, при грамотном проектировании, стоимость данной системы будет сопоставима со стоимостью системы воздушного охлаждения, а если учесть еще все преимущества, о которых мы писали выше, то окупаемость данного решения не заставит себя ждать.

Как мы выяснили, иммерсионное охлаждение более энергоэффективно и является передовой технологией для такого рода задач.

Способы использования тепла от ферм

Как известно, большая часть потребляемой энергии в процессе работы оборудования переходит в тепловую энергии. При больших мощностях майнинг ферм разумеется сразу появляется желание как-то использовать тепло, которое они производят. Мы приведем примеры нескольких способов, которые можно применить как в бытовом, так и в промышленном масштабе. Каждый интересующийся возможно найдет для себя какую-то идею.

• Подогрев какого-либо водоема – рыбхозяйство, бассейн и т.д.
  В данном случае, мы передаем тепло от внутреннего контура охлаждающей жидкости во внешний контур через водяной теплообменик, что позволяет нам получить теплую или горячую воду на выходе из него.
• Обогрев воздуха в помещении – офис, цех, частный дом, теплица и т.д.
  В данном случае мы охлаждаем внутренний контур жидкости через теплообменник вода-воздух и используем горячий/теплый воздух для наших целей
• Теплые полы в доме
  По сути как и в первом примере, мы используем теплообменник вода-вода и это позволяет нам использовать горячую воду для подогрева полов.

Разумеется все способы утилизации тепла необходимо индивидуально рассчитывать и продумывать саму схему работы. Трудно найти какое-то универсальное решение. Мы в наших проектах, как правило подбираем и просчитываем индивидуальную схему отвода тепла от майнинг фермы и его полезное использование на проектах, где есть такая задача.

Для решения подобных задач, применяются промышленные установки жидкостного охлаждения. Ознакомиться с подбробным описанием и приницпом работы данных систем вы можете на странице «Установки иммерсионного охлаждения майнинг ферм».

В заключение хотелось бы отметить, что жидкостное охлаждение это «мэйнстрим» в сфере IT технологий и энергоэффективности.

Получить бесплатную консультацию инженера

Иммерсионное охлаждение в ЦОД — аргументы «за» и «против»

Центр обработки данных — достаточно энергозатратная система. Большое количество энергии требуют как ИТ-инфраструктура, так и системы её охлаждения.

Считается, что в мировом масштабе центры обработки данных потребляют около 3% от общего уровня потребления электроэнергии в мире, и, скорее всего, эта доля будет расти. Кроме того, с развитием высокопроизводительных процессоров будет увеличиваться количество тепла, выделяемого серверами. Уже сейчас системы охлаждения ЦОДа могут потреблять 30-50% от общего энергопотребления.

Также есть мнение, что через какое-то время традиционные воздушные системы охлаждения серверов перестанут справляться с теплоотведением оборудования, то есть воздух будет забирать тепло от нагревающихся элементов медленнее, чем эти элементы будут его генерировать. Если не внедрять способы решения проблем охлаждения, то рост температуры будет приводить к снижению производительности и систематическим отказам.

Вопрос экономии также играет роль – в некоторых случаях внедрение альтернативных источников охлаждения может помочь на порядок сократить капитальные и операционные расходы. Всё это обуславливает интерес операторов центров обработки данных к альтернативным способам охлаждения оборудования. Как следствие, все это приводит к росту новых разработок и исследований. Впереди всех тут, конечно же, крупные компании, например, Майкрософт, тоже ведущий исследования в этой области.

Сегодня я хотел бы поговорить об иммерсионном охлаждении – любопытной концепции, известной давно, но так и не вышедшей в отрасли охлаждения компьютерных систем в сколь-либо массовый продакшен.

Что же это такое?

Перевод слова “immersion” на русский язык сразу дает представление о сути этой технологии – погружение. Иммерсионное охлаждение заключается в погружении рабочей машины (сервера) или отдельных его компонентов: материнской платы с процессором, видеокарты, дисков, блока питания и так далее – в теплопроводную диэлектрическую жидкость, которая обеспечивает отбор тепла от устройства, не затрагивая при этом (в силу непроводимости) работы электроники.

Вообще, в последние годы системы жидкостного охлаждения серверов и ПК набирают популярность. Например, у нас в FirstVDS на часть серверов установлены CPU-водоблоки, и, думаю, у каждого найдется хотя бы пара товарищей-геймеров, использующих такой тип охлаждения на своих игровых станциях.

Обычным пользователям такая система без надобности, но если речь идет о высокопроизводительных машинах, вода, обладая большей по сравнению с воздухом теплоёмкостью, позволяет эффективнее отводить тепло от нагревающихся элементов системы, сохраняя их работоспособность. Однако жидкостная система охлаждения не обязательно должна быть реализована через установку водоблоков, трубок, помпы и, собственно, жидкости, циркулирующей через такую систему.

У иммерсионного охлаждения другой подход, менее традиционный. Бесспорно, его можно назвать разновидностью жидкостного охлаждения, но оно не требует наличия герметичного контура для хладагента, что, очевидно, выгоднее с точки зрения упрощения конструкции, также при таком подходе охлаждается весь сервер, а не только узлы под водоблоками.

Надо сказать, что иммерсионное охлаждение оборудования началось, конечно, не с серверов. Еще в XIX веке практиковалось охлаждение трансформаторов путем погружения в масляную ванну. Это до сих пор является общепринятой практикой, а трансформаторное масло в современной классификации – это отдельный вид минеральных масел, со своим ГОСТ и так далее. Кстати, трансформаторные масла также применяются как охлаждающие жидкости для иммерсионных ванн.

Разберемся более подробно

Сервер погружается в некую ванну, заполненную диэлектрической жидкостью. Предварительно с сервером не совершается никаких специальных манипуляций, исключением может быть разве что демонтаж корпуса (частичный или полный), радиаторов и кулеров воздушного охлаждения. Жидкость, находящаяся в прямом контакте с нагревающимися частями сервера, отводит тепло, а затем охлаждается в чиллере или с помощью иного теплообменника.

Диэлектрические жидкости, используемые в иммерсионных системах, по виду вещества можно поделить на две категории:

• Масла. Минеральные, синтетические, силиконовые — тысячи их! В качестве примера можно привести, например, STE Oil Crystal Plus 70T или Блюмид.
• Фторуглероды. Такие, как 3M Novec и Fluorinert.

И также диэлектрические жидкости делятся на двухфазные и однофазные:

• Двухфазные жидкости — во время цикла охлаждения оборудования жидкость превращается в газ, т. е. испаряется. Получившийся пар охлаждается с помощью конденсатора, обычно это змеевики с проточной водой, которые располагаются в верхней части иммерсионной ванны (внимание на картинку). В результате пар конденсируется и в жидком виде капает обратно. Такие жидкости характеризуются низкой точкой кипения, как правило, около 60 градусов Цельсия. Для такого типа охлаждения используются только герметичные резервуары.

• Однофазные жидкости — жидкость все время находится в одном агрегатном состоянии. Такой подход требует циркуляции диэлектрической жидкости в резервуаре с помощью насосов или естественной конвекции, они никогда не доводятся до кипения. Для охлаждения жидкость прокачивается через теплообменник. Жидкости для однофазного иммерсионного охлаждения характеризуются высокой точкой кипения. Резервуар для однофазной жидкости может быть открытым.

Плюсы иммерсионного охлаждения

• Жидкость, обладая бóльшей, чем воздух, теплоёмкостью, позволяет отводить от устройства бóльшее количество тепла. Это даёт возможность использовать более высокопроизводительные CPU/GPU, вырабатывающие большое количество тепла, не боясь их перегрева и выхода из строя, а также позволит размещать оборудование более плотно, экономя пространство.

• Иммерсионное охлаждение исключает явление локального нагрева, потому что охлаждает всю поверхность устройства равномернее, чем при воздушном охлаждении или, тем более, непрямом жидкостном охлаждении, то есть через водоблоки. Такой подход повышает, в том числе, срок службы устройств.
• Снижение затрат на электроэнергию за счет отказа от инфраструктуры воздушного охлаждения в пользу иммерсионной, например, отпадает необходимость фальшпола и закрытых холодных коридоров. Благодаря более эффективному охлаждению коэффициент PUE приближается к единице.

• Повышение вычислительной мощности. Эффективная система охлаждения позволяет разгонять устройства до максимума без риска перегрева.
• Исключение попадания пыли и грязи. Вентиляторы воздушной системы охлаждения переносят частицы, которые потенциально могут стать причиной сбоя в оборудовании. Иммерсионный подход решает эту проблему, повышая надежность устройств.
• В случае применения негорючих диэлектрических жидкостей отсутствует необходимость в сложных системах пожаротушения.
• Отсутствие шума.

Что же, список преимуществ выглядит солидно. Обычно сторонники иммерсионного охлаждения ЦОД в своих материалах после перечисления вышеописанных достоинств начинают рассуждать о “принципиально новом подходе” и “технологическом прорыве”. Однако, если игнорировать маркетинговую составляющую, сложно не заметить, что иммерсионные решения практически не используются в ЦОДах. Подавляющее большинство операторов ЦОД в России и мире строит и использует инфраструктуру под воздушное охлаждение, а иммерсионный подход используется в основном в майнинге и в небольшом количестве экспериментальных программ. Почему так происходит?

Чтобы ответить на этот вопрос, необходимо проанализировать плюсы, перечисленные выше.

Недостатки иммерсионного охлаждения

Список достоинств, приведенный выше, с незначительными вариациями можно встретить на любом сайте компании-производителя иммерсионных жидкостей, оборудования или иных подобных решений для майнинга и ЦОД. На мой взгляд, он правдив и объективен, однако количество возникающих при переходе на иммерсионное охлаждение вопросов перевешивает плюсы, особенно если рассматривать их “у станка” – находясь в работающем дата-центре, умозрительно прикидывать узкие места того или иного аспекта.

• Утилизация тепла. Иммерсионная жидкость, отводя тепло более эффективно и в бóльших количествах, действительно позволяет размещать сверхвысоконагруженные стойки (до 100 кВт на стойку против 12-15 кВт при воздушном охлаждении). Но отвести тепло от серверов это только половина задачи, главный вопрос — это утилизация тепла, эта проблема никуда не пропадает. В любом случае придется использовать теплообменники гораздо более производительные и дорогие, чем в системах с воздушным охлаждением. Это, в свою очередь, снижает экономию на электроэнергии.
• Гарантия на оборудование. Поскольку все серверы архитектурно приспособлены не под иммерсионное охлаждение, а под воздушное, производитель по умолчанию будет рассматривать как негарантийные все случаи поломок и дефектов используемого с иммерсионными системами оборудования. Единственное исключение, которое я нашел, упоминается в этой новости на Хабре. Такой сервер, наверное, под гарантию попадет 🙂

Кроме того, некоторые виды жестких дисков невозможно использовать в жидкостной среде в принципе – перестает крутиться шпиндель из-за более плотной среды. Использовать в иммерсионных ваннах можно только герметичные гелиевые HDD или твердотельные накопители.

• Горячая замена и обслуживание. Вызывает вопросы возможность замены дисков без остановки сервера, а также его включение-выключение-ребут по кнопке. Чтобы произвести каждую из этих операций в обычном ЦОДе, инженеру надо просто открыть стойку, а в случае иммерсионной ванны сервер необходимо достать, дождаться стекания иммерсионной жидкости… В схеме с двухфазным охлаждением ситуация будет еще сложнее из-за требований к герметичности резервуаров. В общем, если горячая замена и будет реализуема в принципе, то её скорость снижена в разы в сравнении с классической стойкой.

В целом, весь процесс обслуживания физического сервера будет занимать больше времени, чем обычно – достать сервер из иммерсионной ванны и подготовить к сервису дольше, чем из обычной стойки. Это влияет на статистику простоя.

Также сомнительна фактическая полезность некоторых часто озвучиваемых поставщиками иммерсионных услуг преимуществ:

• Отсутствие шума. Никто не будет делать иммерсионный проект только из-за желания избавиться от звукового загрязнения. Бесшумность оборудования может быть важна для домашнего майнинга, но в ЦОДе снаружи слышно не будет, а внутри сотрудникам дадут противошумные наушники. Кстати, прочитать о том, как наша дежурная смена подбирает средства шумозащиты, можно в этой статье.
• Экономия пространства. Сверхплотное размещение серверов, которое становится возможным с использованием иммерсионного охлаждения, должно иметь под собой какое-то объективное обоснование. А не просто потому, что так можно или захотелось.

Например, таким обоснованием может стать высокая стоимость земли – если цена квадратного метра $10000, то, наверное, игра в экономию площади стоит свеч.

Вторая причина — ограниченное пространство. Если вы майнер и в вашем распоряжении только площадь своей квартиры или гаража, но при этом вы хотите снимать с фермы не 10 кВт, а 80, то внедрение иммерсионных ванн с хэш-платами в них вместо традиционного воздушного охлаждения будет целесообразно.

Если рассматривать не майнинг, а дата-центры, то серьезное ограничение пространства может возникнуть из-за необходимости разместить большие мощности на небольшой площади офиса в силу, например, политик безопасности, но я не видел таких кейсов на практике.

Еще один момент. При строительстве дата-центра сложность представляет не поиск места под строительство нужной площади, а поиск электричества. Другими словами, для традиционного ЦОДа сложно найти 10 МВт, а площадь под строительство ЦОДа такого размера значительно легче. Особенно эта проблема актуальна в условиях города.

• Повышение срока службы устройств. Да, за счет эффективного теплоотведения снижается нагрев приборов, и серверы служат дольше. Однако даже в традиционных, “воздушных” ЦОДах давно действует правило “Устареет быстрее, чем сломается”. В данный момент нужды в вечных серверах нет, а срок годности стандартного сервера – 5 лет, после чего его место занимает более производительный собрат. Таким образом, сильная нужда в повышении срока службы сервера отсутствует.
• Исключение попадания пыли и грязи. Серьезная проблема потенциально, однако достаточно легко решаемая клинингом. В Ixcellerate влажная чистка пола проходит раз в день, вход в машзал осуществляется только в бахилах, уборку стоек и чистку серверов мы проводим регулярно.

Иногда еще, в приложение к словам об исключении попадания пыли, начинают писать о пользе демонтажа серверных кулеров в процессе “подготовки к погружению” платформ в ванны, якобы они часто ломаются, что влечет за собой перегрев и простой сервера. Звучит сомнительно – за все годы работы в дата-центре ни у одного из наших серверов я не видел отказавшего вентилятора.

Заключение

Мое мнение — системы иммерсионного охлаждения, в силу вышеописанных причин, не смогут занять место традиционных систем в центрах обработки данных в обозримой перспективе. В ближайшее время целесообразно лишь их точечное применение под определенные задачи: в сфере высокопроизводительных вычислений, при сверхплотном размещении мощностей в силу ограниченного пространства или для лабораторных исследований.

Возможно, дальнейшее развитие мощных процессоров даст импульс к более широкому применению иммерсионного охлаждения, если окажется, что другие системы более не способны отводить тепло от столь мощных систем.

P.S. Этот материал я написал, готовясь к созданию своей иммерсионной фермы из нескольких серверов в образовательных целях, чтобы немного структурировать свои мысли на бумаге. Всё вышеописанное — мое личное мнение, и я с удовольствием прочитаю ваше в комментариях под постом. Спасибо.

• охлаждение
• иммерсионное охлаждение
• цод
• дата-центр

• Блог компании FirstVDS
• IT-инфраструктура
• Серверная оптимизация

Иммерсионное охлаждение что это

Art & DesignMarketing

Иммерсионное охлаждение еще называют жидкостным охлаждением

Иммерсионное охлаждение — технология жидкостного охлаждения с полным погружением в иммерсионную жидкость серверов, ASIC и GPU майниг ферм.

Иммерсионная жидкость — это диэлектрический теплоноситель жидкостного охлаждения с полным погружением оборудования. Жидкостью выступает диэлектрические минеральные масла такие как Octava Cold Oil на основе нефтепродуктов высокой степени очистки.

Главными преимуществами системы жидкостного охлаждения

Главными преимуществами системы жидкостного охлаждения по сравнению с воздушным охлаждением являются способность отводить тепло в тысячу раз эффективнее в сравнении с воздушным. За счет отсутствия движущихся частей таких как вентиляторы и кулеры для процессоров CPU и жестких дисков HDD, уменьшается электропотребление серверным оборудованием до 20% процентов. А отвод тепла в жидкости позволяет транспортировать по трубам с меньшим диаметром по сравнению с воздушными коридорами горячего и холодного контура в сотни раз. Термоэлектрические или химические схемы охлаждения не дают подобной производительности и КПД.

С ростом тактовой частоты профессоров увеличивается температура

С ростом тактовой частоты профессоров увеличивается температура на всех компонентах и узлах серверного оборудования, — это законы физики. Высокая температура может стать причиной термического повреждения кристалла процессора и чипов ASIC, GPU ферм и серверного оборудования. Именно поэтому в современных компьютерах, контроллерах майнинг оборудования на аппаратном уровне реализован целый ряд защитных механизмов, направленных на то что бы уберечь процессор, чипы и хеш (hash) платы от повреждения в случае перегрева.

Защитные механизмы в случае перегрева

Защитные механизмы в случае перегрева называются Троттлинг (от английского throttling): чем выше температура на кристалле процессора, тем больше машинных тактов он пропускает. Такты пропускаются, соответственно снижается эффективность и производительность – это и есть троттлинг процессора или Даунгрейд (от англ. downgrade) – снижение производительности асиков Antminer, GPU ферм на базе Nvidia, AMD и серверного оборудования.

Решение нашей проблемы

Решение нашей проблемы — с одной стороны нам нужна максимальная производительность нашей майнинг, игровой или серверной системы-платформы, с другой стороны необходимо обеспечить максимально эффективное охлаждение и не допустить повышения температуры до уровня, при котором включаются защитные механизмы.

Microsoft, HP, Google последние семь-десять лет реализуют разные системы жидкостного охлаждения для центров обработки данных.

Таким образом жидкостное охлаждение максимально эффективное решение.

Таким образом жидкостное охлаждение максимально эффективное решение охлаждения для центров обработки данных ЦОД и небольших серверных помещений. Позволяет задействовать на 5% процентов электроэнергию для охлаждения оборудования вместо 30% процентов при воздушном охлаждении с помощью кондиционеров, чиллеров или другого холодильного оборудования.

Обращайтесь к специалистам группы компаний Octava для получения консультаций по самой эффективной системы охлаждения оборудования!