Иммерсионная жидкость своими руками

Майнинг фермы, работающие на специальных микросхемах ASIC , нуждаются в довольно сложной вентиляционной системе. В противном случае оборудование будет работать с меньшей продуктивность или прослужит не очень долго.

Что это такое?

Для создания комфортных условий применяют различные способы охлаждения. С недавних пор стали использовать иммерсионное охлаждение. Для этого блоки погружают в жидкость, которая не проводит ток. Такой способ охлаждения называют иммерсионным. Все дело заключается в том, что вещества для этого применяемые инертны, поэтому допустимо размещать в них приборы подключенные к элетроэнергии.

Иммерсионное охлаждение асиков и видеокарт

Сложности, возникающие с охлаждением майнинг-ферм одни из самых злободневных. Перегрев конструкции может привести к самым неприятным последствиям. Но если разговор идет об устройствах с малой, в 5 – 15 кВт, то допустимо использовать бытовые кондиционеры, но, если говорить о промышленных фермах, которые потребляют мощность от 50 кВт, до нескольких МВт. В таком случае приходит на помощь технология иммерсионного охлаждения для S9 . Попробуем разобраться как это работает?

Иммерсионным охлаждением ASIC называют процесс отвода тепла от работающего оборудования путем его погружения в емкость, заполненную иммерсионной жидкостью. Эта техническая жидкость обладает определенной запатентованной формулой. Достоинства жидкости:

1. Негорючестью;
2. Малой токсичностью;
3. Пассивностью;
4. Диэлектрическими параметрами.

Использование этих жидкостей в промышленных объемах началось много лет назад. В наши для ее применяют для создания систем охлаждения в дата-центрах и майнинг-фермах. Исторически сложилось так, что при сооружении новой майнинг-фермы до 35% расходов приходится на охлаждающее оборудование, из расходов на ее эксплуатацию почти 50% приходится на систему охлаждения.

• Регулярно проводимые исследования показывают то, что иммерсионное охлаждение обладает высоким коэффициентом эффективности использования энергии (PUE).

С применением технологии Novec 7200, 1230. Это сухая вода, применяемая для двухфазного охлаждения.

С применением технологии 3M Novec 7300, 7500 и других жидкостей, которые используют для однофазного охлаждения. Оно проходит за счет постоянного перемешивания теплых и холодных слоев жидкости.

Как собрать ванну для охлаждения своими руками

Для обеспечения работы промышленной майнинг-фермы достаточно приобрести готовое оборудование. Его можно найти на специализированных ресурсах посвященных оборудованию для добычи криптовалют. Но те, кто занимается майнингом в домашних, кустарных условиях перегрев представляет собой серьезную проблему. За короткое время температура воздуха перестанет быть комфортной. Это подталкивает домашних майнеров создавать иммерсионное охлаждение асиков своими руками.

Как показывает опыт, простейшее решение — это использование аквариума. В принципе можно использовать любую готовую емкость, например пластиковый короб или ящик. Другое дело, что требуется обеспечить циркуляцию жидкости, то есть, требуется, нагретую жидкость охладить и вернуть ее в рабочую емкость. Для решения этой задачи придется задействовать циркуляционный насос, теплообменное устройство, например, паянный теплообменник. Во избежание засорения системы циркуляции охлаждающей жидкости потребуется установить сетчатый фильтр.

• Для создания подобной конструкции допустимо использовать полипропиленовые трубы с Ду 16.

Схема подключения может выглядеть следующим образом.

В теплообменник на один контур подается холодная водопроводная вода, на другой контур приходит вода из емкости. Под действием насоса вода из емкости проходит через фильтр, теплообменник, где отдает лишнее тепло и возвращается обратно. Водопроводная вода, получив излишек тепла может быть отправлена в канализацию или на обогрев дома.

Недостатки

Как и любая техническая конструкция, иммерсионное охлаждение владеет набором недостатков, в частности:

• Высокая стоимость. Все дело в том, что техническое обслуживание такой конструкции, может обойтись минимум в 25% затрат на обслуживание фермы в целом. То есть, если установленная ферма, потребляет энергии на 10 000 руб. То затраты на охлаждение составят 2 500 руб. Жидкость для охлаждения стоит недешево.
• Емкость для иммерсионной жидкости открывается только сверху и поэтому собрать ферму на стеллажах вряд ли получится.
• При проведении профилактики, жидкость может попасть на пол, а оттереть ее сложно.
• Требуется обеспечить фильтрование рабочей жидкости. Это позволит избежать появления осадка и загрязнений.

Преимущества

Производители охлаждающего оборудования обещают, что произойдет снижение затрат на электричество. По данным компании Allied Control экономия может составить до 90%.

• Использование иммерсионной охладительной конструкции допускает размещение майнеров в непосредственной близости друг от друга, то есть на одной и той же площади допустимо установить в 10 раз больше устройств.
• Такая конструкция охлаждения на 8 асиков поможет разогнать устройство до предельной мощности.
• Иммерсионная жидкость исключает вероятность попадания внутрь устройств пыли и других загрязнений, таким образом снижается вероятность перегрева и выработку устройства.
• Эта жидкость безопасна для оборудования и человека.
• Система жидкостного охлаждения во время работы не генерирует шума.

Заключение

За то время пока криптовалюта пользуется спросом, технический прогресс ушел далеко вперед и если несколько лет назад для генерации сватало традиционного настольного компьютера, охлаждение которого обеспечивал кулер, то в наше время, когда серьезно выросли вычислительные мощности требуются серьезные решения, иммерсионное охлаждение — это одно из них. Применение такого способа позволят сберечь оборудование, снизить затраты на энергию.

Подписывайтесь на наши ресурсы и читайте комментарии, там иногда умные люди пишут умные вещи.

Подписывайтесь на новости AltCoin Log в Vkontakte

Инновации

Новые возможности применения компьютеров, совершенствование чипов для сложных вычислений, механизмов и систем обработки цифрового кода, стремительными темпами внедряются в нашу жизнь.

Мы являемся свидетелями и участниками рождения новых отраслей использования компьютерной техники и майнинга криптовалют, бурного развития технологии вычислений Big-Data и технологии BlockChain. При этом многократно растет энергопотребление вовлеченной в эти процессы компьютерной мощности (ХЭШРЕЙТ), и задачи старой экономики – обеспечить электричеством новые потребности крипто-сообщества и вычислительных гигантов.

Энергоэффективность и сохранение экологии планеты – главный движущий мотив развития инновационных систем охлаждения суперкомпьютеров. Не на последнем месте также стоит и бизнес-интерес – чем лучше и эффективнее охлаждается процессор и плата, тем большую производительность она может обеспечить для вычислений, тем больше блоков и задач в итоге решит сервер, при меньшем энергопотреблении.

Не важно, говорим ли мы о нагреве графических видеопроцессоров (GPU), или чипов на хэш-платах, или блоках питания и преобразования энергии – применение иммерсионных (погружных) систем охлаждения несет в себе огромный потенциал для увеличения эффективности работы таких систем, и несомненные преимущества по сравнению с привычным воздушным охлаждением. К таковым преимуществам можно отнести:

• Лучший, в сотни раз по сравнению с воздухом, теплообмен, соответственно, и более эффективное охлаждение.
• Снижение электропотребления оборудования засчет меньшего нагрева.
• Повышение хэш-рейта, т.е. производительности оборудования. Возможность увеличения производительности чипов за счет лучшего охлаждения.
• 100% пожаробезопасность засчет исключения замыкания, самовозгорания. Применение диэлектрической среды для охлаждения, решает также задачу по борьбе со статическим электричеством на рабочих поверхностях чипа, которое может возникнуть при работе вентиляторов, и разнополярно заряженных пылевых частиц.
• Повышение долговечности работы чипов. При «разгоне» чипа на максимальной частоте, рабочее тело кристалла плавится, деформируется, происходит диффузия, и срок службы чипа резко снижается: либо чип «вылетает» (иногда не только он один), либо вся хэш-плата. Использование более эффективной системы охлаждения многократно продлевает срок эксплуатации систем.
• Решение проблемы сильного фонового шума. Невыносимый шум вентиляторов снижает до нуля популяцию мелких млекопитающих, насекомых, и паразитов в районе 100 м. от любой майнинг-фермы. Иммерсионная система дружелюбна к природе и к органам слуха человека.
• Уменьшение затрат на обслуживание оборудования. В погружных системах платы не нуждаются в профилактике, очистке, продувке от пыли и грязи, и не теряют своего «товарного вида» и рабочих характеристик, пока нормально работает иммерсионный состав.

ПЕРЕЙДЕМ К ВЫБОРУ

Какую иммерсионную систему охлаждения выбрать начинающему или продвинутому майнеру? Универсального ответа нет, но попробуем разобраться.

Про воздушное охлаждение написано много трудов и материалов, в контексте этой статьи мы вообще не будем рассматривать его, как способ охладить чип. Это популярное ныне решение рано или поздно, ввиду его минусов, будет «растоптано» прогрессом и требованиями рынка, и канет в Лету вслед за патефоном, флоппи-диском, и лампам накаливания. ОНО ВООБЩЕ НЕ ОТНОСИТСЯ К ИММЕРСИОННЫМ СИСТЕМАМ ОХЛАЖДЕНИЯ.

Дистиллированная вода. Особенности и последствия такого выбора.

1. Приобрести качественную дистиллированную воду не так уж просто. Как и многие продукты на отечественном рынке, она далека от нормативов. В большинстве случаев в дистиллированной воде, пусть в минимальных количествах, но присутствуют различные соли, другие химические примеси.
2. Даже если вам удалось приобрести качественную дистиллированную воду, чтобы обеспечить сохранение ее чистоты нужно сохранить полную стерильность системы. А этого в домашних условиях достичь практически не возможно. Со временем она теряет свои свойства, в резервуарах происходит размножение бактерий и результат – появление осадка, цветения, загрязнение системы. Вода теряет свои качества, а вместе с ними и диэлектрическую проницаемость.
3. Потери жидкости. И это не обязательно банальные утечки, но и совершенно неконтролируемые и не фиксируемые потери в узлах и “переходниках”кустарно собранных систем.
4. В полностью герметичных системах, при нагревании жидкости увеличивается ее объем и, как следствие, растет давление. А это повышает риски выхода оборудования из строя и снижает безопасность работы оборудования.
5. Главное преимущество дистиллированной воды –самая низкая стоимостьтеплоносителя среди всех кто будет входить в сравнение.
6. Кипение воды происходит при температуре +100 градусов по Цельсию. Это означает, что практически весь рабочий диапазон температур чипа, вода как теплоноситель, остается в жидком агрегатном состоянии, что позволяет проектировать однофазную систему охлаждения, которая более доступна и в инженерном, и в коммерческом плане. Но не отменяет вышеозначенных минусов.

Вообще стоит отметить, что водяное охлаждение используется и сегодня крупными игроками на рынке охладительных систем. Например, это компания Aquilaи ее серверная система Aquarius с водяным охлаждением; проект Asetekс оригинальной версиейпрямоконтактных систем жидкостного охлаждения.

Минеральное масло. Недостатки и преимущества.

Большой опыт использования его в качестве теплоотводящей жидкости для механизмов в машиностроении и тяжелой промышленности (трансформаторы, высоковольтные выключатели) заставил и его послужить в качестве охладителя и в компьютерах. Очень много в сети выложено материалов, которые описывают противоречивый опыт погружного охлаждения в емкостях, наполненных маслом. Главное здесь – все правильно подключить с первого раза, и не производить потом ревизию блока, потому что делать это уже после вынимания из “масляного”аквариума (маслариума) под силу только самым терпеливым и нацеленным на положительный результат майнерам.

Какие же недостатки погружного масляного охлаждения?

1. Во первых, это должны быть минеральные масла. В противном случае, достаточно быстро происходит окисление этого масла.
2. В открытых системах, коими и являются используемые для масла емкости, при попадании в масло пылевых частиц из внешней среды происходит его загустевание.
3. С минеральными маслами в емкости для охлаждения остается необходимость использования гидравлики и помп. А значит, энергозатраты у пользователя все равно сохраняются.
4. При охлаждении высокотемпературных поверхностей открытая, негерметичная система всегда обнаруживает себя зловонным запахом горелого масла, который делает непригодным применение таких систем в жилых помещениях.
5. Данные системы также основаны на однофазном принципе, что дешевле двухфазных систем, но, конвекция и теплообмен внутри маслариума происходит менее эффективно, чем в воде, засчет большей вязкости жидкости, т.е. перемешиваниенагретых объемов масла с охлажденной массой менее интенсивное, что не позволяет излишне плотно упаковывать хэш платы на материнской плате. И необходимо учесть при проектировании коридоры для лучшей конвекции тепловых потоков.

Тем не менее, и в наше время есть современные промышленные системы, которые используют в качестве иммерсионного агента минеральное масло. Например, Carnot Jet System от Green Revolution Cooling – универсальная система, которая совместима с большим количеством оборудования и устанавливается в стойки, заполненые маслом. Но конечно не тем, которые доступны рядовому пользователю, речь идет о специализированном составе.

1. Не всегда, но часто, цена масел, которые предпочитают отечественные владельцы майнеров, может быть сравнительно доступной.
2. Малая испаряемость, а значит, нет большой необходимости регулярно пополнять резервуар.

Сухая вода, Novec™ и Fluorinert™. Только лучшее для современного майнера. Третья каста – специально разработанные инженерные жидкости и инертные составы, огнетушащие вещества, которые успешно используются и для тушения возгораний различных классов опасности (ингибируют пламя, быстро и эффективно снижают температуру в очаге возгорания) и для охлаждения интенсивно работающего оборудования. В чем их преимущества?

1. Снижение энергозатрат на 97%.
2. Абсолютная пожарная и электрическая безопасность для оборудования.
3. Десятикратное уменьшение размеров серверных стоек.
4. Полная бесшумность работы системы охлаждения.
5. Экологичность и безопасный токсикологический профиль.
6. Срок гарантии от производителя таких инженерных жидкостей – 30 лет.

На рынке есть жидкости, которые предназначены как для однофазного (температура кипения начинается от 95 градусов, например, это жидкости Fluorinert FC-770, FC-3283, FC-40, FC-43, FC-70 и Novec 7300, 7500 и 7700) и двухфазного охлаждения (температура кипения не выше 76 градусов, например, это жидкости Fluorinert FC-3284 и FC-72, Novec 7000, 49, 7100, 7200 и 774).

Принципиальное различие конструктивасистем такого охлаждения состоит в том, что в первом случае – это системы в которых жидкость с помощьюгидравлики и помп перемешиваетсядля конвекции нагретого и холодного объема, а во втором –двухфазном охлаждении, происходит интенсивное кипение вещества, пары отбирают тепло от чипа, и в верхней части куба в результате охлаждения, переходят снова в жидкое состояние (Принцип самогонного аппарата или ректификационной колонны с дефлегматором). Постоянные переходы действующего иммерсионного вещества из жидкой в парообразную фазу и обратно, в непрерывном процессе теплообмена, дают наименьшие затраты энергии на работу такой системы, и наиэффективнейший способ охлаждения рабочих поверхностей хэш-платы. В обоих случаях это полностью герметичные системы, с компенсаторами давления и системами контроля физического состояния.

И те, и другие варианты рассчитаны под определенные требования, но в любом случае обладают всеми вышеперечисленными преимуществами.

Где применяются системы иммерсионного охлаждения с агентом Novec™ и Fluorinert™ и их аналогами? Центры обработки данных, высоковольтные системы, майнинг, облачная коммерциализация. Это не полный список.Что выбрать вам? Решение всегда принимается на основании всей информации. Мы вам постарались ее изложить. И это не последняя статья на эту тему.

Но эволюция – это всегда выход на качественно новый уровень. Давайте шагать вверх, а не топтаться на месте.

Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь.

На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества.

Перегрев оборудования как бич современной электроники

Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры.

Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник – это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий.

Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно.

Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном.
Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора.

Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора.

Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно.

Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение.

Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение.

Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем.

Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора.

Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров.

При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения.

Традиционные и альтернативные системы охлаждения

Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово.

Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта.

Иммерсионная система охлаждения

Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами.

Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации.

Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость.

Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики.
Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды.

Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник.

Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет.

Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах.

Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом.

Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее.

Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром.

Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов.

Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор.

Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт…

Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела.

Схожим образом Novec испаряется с горячих поверхностей микросхем и забирает с собой часть тепла. Для испарения 1 г Novec потребуется около 120 Дж. Это значит, что видеокарта 200 Вт испарит за 1 секунду около 2 г жидкости. А за минуту — всего 120 г. Эффективность отвода тепла за счет кипения крайне высока, а размер радиатора для отвода 200 Вт тепла может составлять всего 3-4 см2. Фактически, радиатор практически не нужен.
Как и минеральному маслу, данной системе требуется охлаждение жидкости. Для этого вы можете подливать 120 г жидкости из огромной цистерны каждую минуту. С другой стороны, при стоимости жидкости около 100 $ за литр такая цистерна выходит очень-очень дорогим решением. Поэтому совершенно естественно пойти другим путём — организовать замкнутый цикл с внешним охладителем.

Конденсация паров жидкости

Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь.

Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении.

Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом.

Преимущества иммерсионной системы охлаждения

Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга.

Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования.

Преимущества охлаждения жидкостью Novec перед минеральным маслом

На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений.

В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость.

Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200-400 градусов.

Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти.

Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается.

Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими.

Жидкость Novec: слабые места

Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки.

При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования.

Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.