01

ФакторыФакториFactors

Из чего складывается ватт

З чого складається ват

What a watt is made of

Методика расчёта зависит от типа машины. В одной всё решают процессоры, в другой они дают двадцатую часть.

Методика розрахунку залежить від типу машини. В одній усе вирішують процесори, в іншій вони дають двадцяту частину.

The method depends on the machine. In one, processors decide everything; in another they are a twentieth of the total.

Прежде чем считать стойки, разберу, из чего вообще набирается потребление одного сервера. Факторов немного, и веса у них совершенно разные в зависимости от типа машины.

Перш ніж рахувати стійки, розберу, з чого взагалі набирається споживання одного сервера. Факторів небагато, і ваги в них абсолютно різні залежно від типу машини.

Before counting racks, let me break down where a single server’s power actually comes from. There are only a few factors, and their weights differ completely from one machine type to another.

В сервере базы данных на два процессора по 24 ядра почти всё потребление — это процессоры: 60% из примерно 700 W. Память, накопители и сеть вместе дают меньше пятой части. Такая машина считается просто: взяли два числа TDP, добавили треть сверху и получили ответ с приличной точностью.

У сервері бази даних на два процесори по 24 ядра майже все споживання — це процесори: 60% із приблизно 700 W. Пам’ять, накопичувачі й мережа разом дають менше п’ятої частини. Така машина рахується просто: взяли два числа TDP, додали третину зверху й отримали відповідь із пристойною точністю.

In a database server with two 24-core processors, almost all the draw is the processors: 60% of roughly 700 W. Memory, drives and networking together account for less than a fifth. Such a machine is easy to size: take the two TDP figures, add a third on top, and the answer is accurate enough.

В гиперконвергентном узле на 172 ядра картина уже другая. Процессоры дают 39%, накопители — 20%, вентиляторы — 13%, память — 13%. Считать по одним процессорам здесь нельзя, ошибка будет в полтора раза.

У гіперконвергентному вузлі на 172 ядра картина вже інша. Процесори дають 39%, накопичувачі — 20%, вентилятори — 13%, пам’ять — 13%. Рахувати за самими процесорами тут не можна, помилка буде в півтора раза.

In a 172-core hyperconverged node the picture is already different. Processors give 39%, drives 20%, fans 13% and memory 13%. Counting processors alone here is wrong by a factor of one and a half.

А в узле с восемью ускорителями процессоры занимают 5% и роли почти не играют. Там 69% — сами ускорители и 9% — вентиляторы, которые вынуждены прогонять через шасси очень много воздуха.

А у вузлі з вісьмома прискорювачами процесори займають 5% і ролі майже не відіграють. Там 69% — самі прискорювачі і 9% — вентилятори, які змушені проганяти через шасі дуже багато повітря.

And in a node with eight accelerators the processors are 5% and barely matter. There, 69% is the accelerators themselves and 9% is the fans, which have to push an enormous volume of air through the chassis.

Отсюда первое практическое правило: методика расчёта зависит от типа машины. Для обычных серверов достаточно процессоров с надбавкой, для узлов с большим числом накопителей надо считать накопители, для машин с ускорителями всё остальное можно округлить.

Звідси перше практичне правило: методика розрахунку залежить від типу машини. Для звичайних серверів достатньо процесорів із надбавкою, для вузлів із великою кількістю накопичувачів треба рахувати накопичувачі, для машин із прискорювачами все інше можна округлити.

Hence the first practical rule: the method depends on the machine type. For ordinary servers, processors plus a margin will do; for nodes packed with drives, the drives have to be counted; for accelerator machines, everything else can be rounded off.

Что пропускают чаще всего

Що пропускають найчастіше

What gets missed most often

Накопители почти не отдыхают. Enterprise-накопитель NVMe берёт под нагрузкой от 12 до 19 W в зависимости от объёма и типа, а в глубоком простое может опуститься до 4–8 W. Но в гиперконвергентном кластере до простоя дело почти не доходит: фоновые операции, дедупликация и репликация держат накопители в работе постоянно. Поэтому для бюджета по питанию разумно брать верхнюю планку — двадцать четыре накопителя в узле дают около 360 W.

Накопичувачі майже не відпочивають. Enterprise-накопичувач NVMe бере під навантаженням від 12 до 19 W залежно від обсягу й типу, а в глибокому простої може опуститися до 4–8 W. Але в гіперконвергентному кластері до простою справа майже не доходить: фонові операції, дедуплікація і реплікація тримають накопичувачі в роботі постійно. Тому для бюджету з живлення розумно брати верхню планку — двадцять чотири накопичувачі у вузлі дають близько 360 W.

Drives hardly ever rest. An enterprise NVMe drive draws 12 to 19 W under load depending on capacity and type, and can fall to 4–8 W in deep idle. But in a hyperconverged cluster idle barely happens: background operations, deduplication and replication keep the drives working all the time. So for a power budget it makes sense to take the upper figure — twenty-four drives in a node come to about 360 W.

Вентиляторы не бесплатны. В плотной конфигурации они дают от десятой части до седьмой всего потребления, и их доля растёт по мере нагрева: чем горячее в зале, тем больше сервер тратит на собственное охлаждение. Это обратная связь, которая в расчётах обычно отсутствует.

Вентилятори не безкоштовні. У щільній конфігурації вони дають від десятої частини до сьомої всього споживання, і їхня частка зростає з нагріванням: що гарячіше в залі, то більше сервер витрачає на власне охолодження. Це зворотний зв’язок, якого в розрахунках зазвичай немає.

Fans are not free. In a dense configuration they account for a tenth to a seventh of the total draw, and their share grows as things heat up: the warmer the room, the more the server spends cooling itself. That feedback loop is usually missing from the calculations.

Блоки питания имеют КПД. У современных он около 94–96% при типовой загрузке, но падает и на очень малой, и на предельной. Пять процентов потерь на вводе — это то, что зал должен выдать сверх того, что потребляет электроника.

Блоки живлення мають ККД. У сучасних він близько 94–96% за типового завантаження, але падає і на дуже малому, і на граничному. П’ять відсотків втрат на вводі — це те, що зал має видати понад те, що споживає електроніка.

Power supplies have an efficiency figure. Modern ones run at about 94–96% at typical load, but that falls both at very light and at maximum load. Five percent of losses at the feed is what the room has to supply on top of what the electronics consume.

Сетевые карты в серверах общего назначения незаметны, а в машинах с ускорителями становятся заметной строкой: несколько карт на 400 Gb и сопроцессоров дают в узле полкиловатта, столько же, сколько его процессоры.

Мережеві карти в серверах загального призначення непомітні, а в машинах із прискорювачами стають помітним рядком: кілька карт на 400 Gb і співпроцесорів дають у вузлі півкіловата, стільки ж, скільки його процесори.

Network cards are negligible in general-purpose servers, but in accelerator machines they become a visible line: several 400 Gb cards and offload processors add half a kilowatt to the node, as much as its processors.

02

ПроцессорыПроцесориProcessors

Поколения и эффективность

Покоління та ефективність

Generations and efficiency

В пересчёте на ядро процессоры дешевеют по электричеству. Сервер целиком при этом дорожает.

У перерахунку на ядро процесори дешевшають за електрикою. Сервер цілком при цьому дорожчає.

Per core, processors are getting cheaper to run. The server as a whole is getting dearer.

Теперь про то, как всё это меняется со временем, и здесь есть две противоположные тенденции.

Тепер про те, як усе це змінюється з часом, і тут є дві протилежні тенденції.

Now about how all this changes over time — and here there are two opposing trends.

Первая: в пересчёте на ядро процессоры становятся экономичнее. Возьмите процессоры одного поколения и посчитайте ватты на ядро — у 96-ядерного выходит 3,75 W, у 86-ядерного 4,07, а у 24-ядерного из той же линейки 10,62. Разброс почти втрое, и он идёт против интуиции: чем плотнее процессор, тем экономнее каждое его ядро.

Перша: у перерахунку на ядро процесори стають економічнішими. Візьміть процесори одного покоління і порахуйте вати на ядро — у 96-ядерного виходить 3,75 W, у 86-ядерного 4,07, а у 24-ядерного з тієї самої лінійки 10,62. Розкид майже втричі, і він іде проти інтуїції: що щільніший процесор, то економніше кожне його ядро.

First: per core, processors are becoming more frugal. Take processors from one generation and work out the watts per core — a 96-core part comes to 3.75 W, an 86-core one to 4.07, and a 24-core part from the same line to 10.62. Almost a threefold spread, and it runs against intuition: the denser the processor, the more frugal each of its cores.

Проверим на масштабе, потому что в пересчёте на комплекс разница выглядит внушительнее. Комплекс из 45 узлов даёт 7740 ядер на 86-ядерных процессорах. Те же 7740 ядер на 24-ядерных потребовали бы 162 узла вместо 45. Только на процессорах это 82 kW против 31,5 kW — разница больше 50 kW, не считая памяти, накопителей и вентиляторов, которых тоже стало бы втрое больше. Плюс 162 юнита против 90 и вдвое больше портов в коммутаторах.

Перевіримо на масштабі, бо в перерахунку на комплекс різниця виглядає переконливіше. Комплекс із 45 вузлів дає 7740 ядер на 86-ядерних процесорах. Ті самі 7740 ядер на 24-ядерних вимагали б 162 вузли замість 45. Тільки на процесорах це 82 kW проти 31,5 kW — різниця більша за 50 kW, не рахуючи пам’яті, накопичувачів і вентиляторів, яких теж стало б утричі більше. Плюс 162 юніти проти 90 і вдвічі більше портів у комутаторах.

Let us check that at scale, because across a whole estate the difference looks more impressive. A 45-node estate gives 7740 cores on 86-core processors. The same 7740 cores on 24-core parts would need 162 nodes instead of 45. On processors alone that is 82 kW against 31.5 kW — a gap of more than 50 kW, before counting memory, drives and fans, of which there would also be three times as many. Plus 162 rack units against 90, and twice as many switch ports.

То же и со сменой поколений. Новое поколение при том же числе ядер обычно даёт больше производительности на тот же или близкий TDP — за счёт частоты, кэша и пропускной способности памяти. Если выбирать модель по числу ядер, а не по позиции в линейке, прирост достаётся почти бесплатно.

Те саме і зі зміною поколінь. Нове покоління за тієї самої кількості ядер зазвичай дає більше продуктивності на той самий або близький TDP — за рахунок частоти, кешу і пропускної здатності пам’яті. Якщо обирати модель за кількістю ядер, а не за позицією в лінійці, приріст дістається майже безкоштовно.

The same applies across generations. At the same core count, a new generation usually delivers more performance at the same or a similar TDP — through clock speed, cache and memory bandwidth. If you choose the model by core count rather than by its position in the line-up, that gain comes almost free.

Вторая тенденция обратная: сервер целиком становится прожорливее. Верхние модели в линейках ушли с 250 W на процессор к 500 W. Память стала быстрее и её стало больше. Накопителей в узле стало два десятка вместо четырёх. В итоге узел нового поколения потребляет больше старого, даже если процессоры в нём эффективнее на ядро.

Друга тенденція зворотна: сервер цілком стає ненажерливішим. Верхні моделі в лінійках пішли з 250 W на процесор до 500 W. Пам’ять стала швидшою і її стало більше. Накопичувачів у вузлі стало два десятки замість чотирьох. У підсумку вузол нового покоління споживає більше за старий, навіть якщо процесори в ньому ефективніші на ядро.

The second trend runs the other way: the server as a whole is getting hungrier. Top models in the line-ups have gone from 250 W per processor to 500 W. Memory got faster and there is more of it. A node now holds a couple of dozen drives instead of four. The result is that a new-generation node draws more than an old one, even though its processors are more efficient per core.

Эти две тенденции не противоречат друг другу, они просто отвечают на разные вопросы. «Сколько ватт на единицу работы» — падает. «Сколько ватт на юнит стойки» — растёт. Зал живёт по второму числу.

Ці дві тенденції не суперечать одна одній, вони просто відповідають на різні питання. «Скільки ват на одиницю роботи» — падає. «Скільки ват на юніт стійки» — зростає. Зал живе за другим числом.

The two trends do not contradict each other; they answer different questions. Watts per unit of work are falling. Watts per rack unit are rising. The room lives by the second number.

В предыдущих выпусках серии я писал, что при лицензировании по физическим ядрам процессор надо выбирать по числу ядер, а не по позиции в линейке. Здесь добавляется вторая сторона той же развилки: плотность экономит киловатты и место, частота экономит лицензии. Что дороже — зависит от того, чего у вас меньше.

У попередніх випусках серії я писав, що при ліцензуванні за фізичними ядрами процесор треба обирати за кількістю ядер, а не за позицією в лінійці. Тут додається другий бік тієї самої розвилки: щільність економить кіловати й місце, частота економить ліцензії. Що дорожче — залежить від того, чого у вас менше.

In earlier issues I argued that where licensing is by physical cores, the processor should be chosen by core count rather than by its position in the line-up. Here the other side of the same fork appears: density saves kilowatts and space, clock speed saves licences. Which costs more depends on which you have less of.

03

УскорителиПрискорювачіAccelerators

Градации ускорителей

Градації прискорювачів

The tiers of accelerators

От одной карты в обычном сервере до восьми в отдельном шасси — разброс больше, чем между всеми прочими типами машин.

Від однієї карти у звичайному сервері до восьми в окремому шасі — розкид більший, ніж між усіма іншими типами машин.

From one card in an ordinary server to eight in a dedicated chassis — a wider spread than between all other machine types.

Отдельно про машины с ускорителями, потому что разброс внутри этой категории больше, чем между всеми остальными типами серверов.

Окремо про машини з прискорювачами, бо розкид усередині цієї категорії більший, ніж між усіма іншими типами серверів.

A separate word on accelerator machines, because the spread inside this category is wider than between all other server types.

Нижняя ступень — обычный двухпроцессорный сервер в корпусе 2U с одной профессиональной картой на 600 W. Такая машина берёт около 1140 W, то есть примерно вдвое больше сервера без карты, и ставится в любую стойку без особых условий. За последние пару лет таких конфигураций в нашем регионе появилось заметно больше десятка — это уже не экзотика, а рабочий вариант для задач, которым нужно немного ускорения.

Нижній щабель — звичайний двопроцесорний сервер у корпусі 2U з однією професійною картою на 600 W. Така машина бере близько 1140 W, тобто приблизно вдвічі більше за сервер без карти, і ставиться в будь-яку стійку без особливих умов. За останні пару років таких конфігурацій у нашому регіоні з’явилося помітно більше десятка — це вже не екзотика, а робочий варіант для задач, яким потрібно трохи прискорення.

The bottom tier is an ordinary two-processor server in a 2U chassis with one professional 600 W card. Such a machine draws about 1140 W, roughly twice a server without a card, and goes into any rack with no special conditions. Over the last couple of years well over a dozen configurations like this have appeared in our region — no longer exotic, but a workable option for tasks that need a little acceleration.

Вторая ступень — тот же корпус с двумя картами: около 1640 W. Всё ещё обычная стойка, но уже 820 W на юнит, больше, чем у гиперконвергентного узла.

Другий щабель — той самий корпус із двома картами: близько 1640 W. Усе ще звичайна стійка, але вже 820 W на юніт, більше, ніж у гіперконвергентного вузла.

The second tier is the same chassis with two cards: about 1640 W. Still an ordinary rack, but now 820 W per rack unit — more than a hyperconverged node.

Дальше идёт разрыв. Восемь ускорителей в корпусе 8U — это отдельный класс машин, и цифры по поколениям выглядят так. Ускоритель поколения 2020 года брал 400 W на чип. Следующее поколение — 700 W. Ещё следующее — 1000 W. Текущее — 1100 W в воздушном исполнении и 1400 W в жидкостном.

Далі йде розрив. Вісім прискорювачів у корпусі 8U — це окремий клас машин, і цифри за поколіннями виглядають так. Прискорювач покоління 2020 року брав 400 W на чип. Наступне покоління — 700 W. Ще наступне — 1000 W. Поточне — 1100 W у повітряному виконанні і 1400 W у рідинному.

Then comes a jump. Eight accelerators in an 8U chassis is a class of its own, and the generational figures look like this. A 2020-generation accelerator drew 400 W per chip. The next generation, 700 W. The one after, 1000 W. The current one, 1100 W air-cooled and 1400 W liquid-cooled.

То есть за пять лет мощность на один ускоритель выросла втрое, а восьмиускорительный узел — с примерно 3,5 kW до 8,6 kW в воздушном варианте. Жидкостный вариант того же поколения даёт свыше 11 kW на узел до процессоров и сети, и для него прямое жидкостное охлаждение не опция, а обязательное условие: воздухом такое не берётся.

Тобто за п’ять років потужність на один прискорювач зросла втричі, а восьмиприскорювальний вузол — з приблизно 3,5 kW до 8,6 kW у повітряному варіанті. Рідинний варіант того самого покоління дає понад 11 kW на вузол до процесорів і мережі, і для нього пряме рідинне охолодження не опція, а обов’язкова умова: повітрям таке не береться.

So in five years the power of a single accelerator has tripled, and an eight-accelerator node has gone from about 3.5 kW to 8.6 kW in the air-cooled variant. The liquid-cooled variant of the same generation gives over 11 kW per node before processors and networking, and for it direct liquid cooling is not an option but a requirement: air cannot carry that away.

За пять лет мощность одного ускорителя выросла втрое, а узел из восьми — с трёх с половиной киловатт до одиннадцати.

За п’ять років потужність одного прискорювача зросла втричі, а вузол із восьми — з трьох із половиною кіловат до одинадцяти.

In five years one accelerator has tripled in power, and a node of eight has gone from three and a half kilowatts to eleven.

Вот на этом месте стоит задержаться, потому что здесь проходит граница применимости. Пока речь идёт об одной-двух картах, вопрос решается в обычном зале. Восемь ускорителей в воздушном исполнении ещё можно разместить, если зал позволяет по подводу и по воздуху. Жидкостное исполнение требует контура, которого в регионе почти ни у кого нет, и опыта эксплуатации, которого нет тем более.

Ось на цьому місці варто затриматися, бо тут проходить межа застосовності. Поки йдеться про одну-дві карти, питання вирішується у звичайному залі. Вісім прискорювачів у повітряному виконанні ще можна розмістити, якщо зал дозволяє за підведенням і за повітрям. Рідинне виконання вимагає контуру, якого в регіоні майже ні в кого немає, і досвіду експлуатації, якого немає тим паче.

This is the place to pause, because here lies the boundary of what is feasible. While it is one or two cards, the question is settled inside an ordinary room. Eight accelerators in the air-cooled form can still be installed if the room allows on both power and air. The liquid-cooled form requires a loop that almost nobody in the region has, and operating experience that even fewer have.

Про следующее поколение скажу коротко: оно анонсировано, но публичных данных по мощности на ускоритель и на стойку производитель не раскрывает, а цифры, которые ходят по обзорам, первоисточника не имеют. Планировать по ним нельзя.

Про наступне покоління скажу коротко: воно анонсоване, але публічних даних щодо потужності на прискорювач і на стійку виробник не розкриває, а цифри, що ходять по оглядах, першоджерела не мають. Планувати за ними не можна.

On the next generation, briefly: it has been announced, but the manufacturer has not published figures for power per accelerator or per rack, and the numbers circulating in reviews have no primary source. You cannot plan against them.

Практический вывод простой. Если к вам приходят с задачей «нужно немного ИИ», это скорее всего первая или вторая ступень, и она решается в существующем зале. Если приходят с задачей уровня обучения моделей, разговор начинается не с ускорителей, а с того, что в зале есть по подводу и по охлаждению.

Практичний висновок простий. Якщо до вас приходять із задачею «потрібно трохи ШІ», це швидше за все перший або другий щабель, і вона вирішується в наявному залі. Якщо приходять із задачею рівня навчання моделей, розмова починається не з прискорювачів, а з того, що в залі є за підведенням і за охолодженням.

The practical conclusion is simple. If someone comes to you asking for “a bit of AI”, that is most likely the first or second tier and it is handled in the existing room. If they come with a model-training task, the conversation starts not with accelerators but with what the room has in terms of power and cooling.

04

РазмещениеРозміщенняPlacement

Стойка кончается не юнитами

Стійка закінчується не юнітами

A rack does not run out of rack units

Кластер из 15 узлов занимает 30 юнитов и не помещается в стойку на 42. Ограничитель не там, где его ищут.

Кластер із 15 вузлів займає 30 юнітів і не вміщується у стійку на 42. Обмежувач не там, де його шукають.

A 15-node cluster occupies 30 units and does not fit a 42U rack. The constraint is not where people look for it.

Теперь про арифметику размещения, и здесь у меня есть живой случай.

Тепер про арифметику розміщення, і тут у мене є живий випадок.

Now the arithmetic of placement, and here I have a live case.

Кластер из 15 узлов, каждый с двумя 86-ядерными процессорами: 172 ядра на узел, 2580 ядер на кластер. Занимает 30 юнитов — то есть меньше трёх четвертей стойки. По типовому потреблению это 18,2 kW, по расчётному максимуму 26,7 kW.

Кластер із 15 вузлів, кожен із двома 86-ядерними процесорами: 172 ядра на вузол, 2580 ядер на кластер. Займає 30 юнітів — тобто менше трьох чвертей стійки. За типовим споживанням це 18,2 kW, за розрахунковим максимумом 26,7 kW.

A cluster of 15 nodes, each with two 86-core processors: 172 cores per node, 2580 cores per cluster. It occupies 30 rack units — less than three quarters of a rack. At typical draw that is 18.2 kW; at calculated maximum, 26.7 kW.

Кластер пришлось разнести на две стойки. Не потому, что не хватило места. Места было с избытком: после разноса в каждой стойке занято 16 и 14 юнитов из 42, больше половины пустует. Не хватило киловатт. Заказчик оплатил два стоечных места, чтобы разместить оборудование, физически помещающееся в одно.

Кластер довелося рознести на дві стійки. Не тому, що не вистачило місця. Місця було з надлишком: після рознесення в кожній стійці зайнято 16 і 14 юнітів із 42, більше половини пустує. Не вистачило кіловат. Замовник оплатив два стійкові місця, щоб розмістити обладнання, яке фізично вміщується в одне.

The cluster had to be split across two racks. Not because there was no space. There was space to spare: after the split, 16 and 14 of 42 units are occupied in each rack, more than half standing empty. What ran out was kilowatts. The customer paid for two rack spaces to house equipment that physically fits in one.

Это, кстати, косвенный способ узнать реальный подвод в зале, когда паспортных данных нет. Раз 15 узлов не встали вместе, потолок ниже 18 kW. Раз 8 узлов встали с запасом — где-то в районе 12–15 kW. Такая оценка точнее, чем то, что обычно отвечают на вопрос «сколько у вас на стойку».

Це, до речі, непрямий спосіб дізнатися реальне підведення в залі, коли паспортних даних немає. Раз 15 вузлів не стали разом, стеля нижча за 18 kW. Раз 8 вузлів стали із запасом — десь у районі 12–15 kW. Така оцінка точніша, ніж те, що зазвичай відповідають на питання «скільки у вас на стійку».

That, incidentally, is an indirect way to find out the real feed in a room when there is no documentation. Since 15 nodes would not go in together, the ceiling is below 18 kW. Since 8 nodes went in with room to spare, it is somewhere around 12–15 kW. That estimate is more accurate than the usual answer to “how much do you have per rack?”.

И вот следствие, которого в задаче на размещение не было вообще. После разноса в каждой стойке лежит примерно половина кластера. Значит отказ стойки — ввода, автомата, коммутатора — выносит половину узлов разом. Половина в большинстве схем кворума хуже, чем треть: три стойки по пять узлов переживают потерю одной, две по семь-восемь — вопрос, который надо решать отдельно и заранее.

І ось наслідок, якого в задачі на розміщення не було взагалі. Після рознесення в кожній стійці лежить приблизно половина кластера. Отже відмова стійки — вводу, автомата, комутатора — виносить половину вузлів разом. Половина в більшості схем кворуму гірша за третину: три стійки по п’ять вузлів переживають втрату однієї, дві по сім-вісім — питання, яке треба вирішувати окремо і заздалегідь.

And here is a consequence that was nowhere in the placement task. After the split, each rack holds about half the cluster. So a rack failure — a feed, a breaker, a switch — takes out half the nodes at once. In most quorum schemes a half is worse than a third: three racks of five nodes survive the loss of one; two racks of seven or eight are a question that has to be settled separately and in advance.

Задача звучала как «разместить оборудование». Решение приняли по питанию. А изменился при этом домен отказа, и пересчитывать отказоустойчивость никто не планировал, потому что в повестке этого пункта не было.

Задача звучала як «розмістити обладнання». Рішення ухвалили за живленням. А змінився при цьому домен відмови, і перераховувати відмовостійкість ніхто не планував, бо в порядку денному цього пункту не було.

The task was phrased as “install the equipment”. The decision was taken on power. What changed, though, was the failure domain — and nobody planned to recalculate the resilience, because that item was not on the agenda.

Из этого я сделал правило, которое теперь применяю ко всем проектам: схему размещения в стойках надо согласовывать не с монтажниками, а вместе с архитектурой платформы. Иначе ограничение по электричеству молча переписывает решение по надёжности.

Із цього я зробив правило, яке тепер застосовую до всіх проєктів: схему розміщення у стійках треба узгоджувати не з монтажниками, а разом з архітектурою платформи. Інакше обмеження за електрикою мовчки переписує рішення щодо надійності.

From this I made a rule I now apply to every project: the rack layout is agreed together with the platform architecture, not with the installers. Otherwise a power constraint silently rewrites a reliability decision.

05

РаспределениеРозподілDistribution

Киловатты приходят фазами

Кіловати приходять фазами

Kilowatts arrive in phases

Пятнадцать киловатт — это не одно число, а три фазы, два луча и номиналы автоматов, которые должны сойтись между собой.

П’ятнадцять кіловат — це не одне число, а три фази, два промені й номінали автоматів, які мають зійтися між собою.

Fifteen kilowatts is not one number but three phases, two feeds and breaker ratings that all have to add up.

До сих пор я писал «15 kW на стойку» так, будто это одна величина. На самом деле её не существует — есть три фазы, каждая со своим автоматом, и два независимых луча. И то, как нагрузка по ним разложена, решает, работает конструкция или выбивает защиту.

Досі я писав «15 kW на стійку» так, ніби це одна величина. Насправді її не існує — є три фази, кожна зі своїм автоматом, і два незалежні промені. І те, як навантаження по них розкладене, вирішує, працює конструкція чи вибиває захист.

So far I have written “15 kW per rack” as though it were a single figure. In fact there is no such figure — there are three phases, each with its own breaker, and two independent feeds. And how the load is spread across them decides whether the arrangement works or trips the protection.

Начну с арифметики, без которой дальше нельзя. Трёхфазный ввод даёт втрое больше мощности, чем однофазный того же номинала: три фазы по 230 V вместо одной. Коэффициент 1,732, который часто всплывает в этом месте, относится к той же формуле, записанной через линейное напряжение 400 V, и для сравнения с однофазным вводом не годится. Но взять от автомата всё, что написано на его корпусе, нельзя: для длительной нагрузки принято правило 80%, и производители оборудования распределения питания уже закладывают его в паспортную мощность.

Почну з арифметики, без якої далі не можна. Трифазний ввід дає втричі більше потужності, ніж однофазний того самого номіналу: три фази по 230 V замість однієї. Коефіцієнт 1,732, який часто спливає в цьому місці, стосується тієї самої формули, записаної через лінійну напругу 400 V, і для порівняння з однофазним вводом не годиться. Але взяти від автомата все, що написано на його корпусі, не можна: для тривалого навантаження прийнято правило 80%, і виробники обладнання розподілу живлення вже закладають його в паспортну потужність.

Let me start with the arithmetic, without which nothing further works. A three-phase feed delivers three times the power of a single-phase feed of the same rating: three phases of 230 V instead of one. The factor of 1.732 that often surfaces here belongs to the same formula written through the 400 V line voltage, and is not suitable for comparison with a single-phase feed. But you cannot draw everything printed on the breaker: continuous load is planned at 80% of the rating, and makers of power distribution equipment already build that into the stated capacity.

А теперь вернёмся к нашему кластеру из 15 узлов. Типовое потребление 18,2 kW, максимум 26,7 kW. Трёхфазный ввод на 32 A даёт 17,7 kW рабочей мощности. То есть кластер не проходит по вводу даже в обычный день, не говоря о максимуме.

А тепер повернемося до нашого кластера з 15 вузлів. Типове споживання 18,2 kW, максимум 26,7 kW. Трифазний ввід на 32 A дає 17,7 kW робочої потужності. Тобто кластер не проходить за вводом навіть у звичайний день, не кажучи про максимум.

Now back to our 15-node cluster. Typical draw 18.2 kW, maximum 26.7 kW. A three-phase 32 A feed gives 17.7 kW of usable power. So the cluster does not fit the feed even on an ordinary day, let alone at maximum.

Проверим иначе, по фазам. Идеальная раскладка — по 5 узлов на фазу, это 6,05 kW и 26,3 A при рабочем пределе 25,6 A. Не проходит и так, причём при безупречной балансировке. А если разложить небрежно, 6-5-4, то на первой фазе окажется 31,6 A — это уже не «тесно», это сработавший автомат.

Перевіримо інакше, за фазами. Ідеальне розкладання — по 5 вузлів на фазу, це 6,05 kW і 26,3 A за робочої межі 25,6 A. Не проходить і так, причому за бездоганного балансування. А якщо розкласти недбало, 6-5-4, то на першій фазі опиниться 31,6 A — це вже не «тісно», це спрацьований автомат.

Let us check it another way, by phase. The ideal split is 5 nodes per phase: 6.05 kW and 26.3 A against a working limit of 25.6 A. It does not fit that way either, and that is with flawless balancing. Split it carelessly, 6-5-4, and the first phase carries 31.6 A — that is no longer “tight”, that is a tripped breaker.

Разнесённый вариант выглядит иначе. Восемь узлов дают 14,2 kW на максимуме и около 20,6 A на фазу, семь узлов — 12,5 kW и 18,1 A. Оба укладываются в ввод на 32 A с нормальным запасом. То, что выглядело решением «не хватило киловатт», при ближайшем рассмотрении оказывается решением «не хватило номинала ввода», и это разные вещи: подвод в зал мог быть и больше, упёрлись в то, чем эту мощность раздают по стойке.

Рознесений варіант виглядає інакше. Вісім вузлів дають 14,2 kW на максимумі і близько 20,6 A на фазу, сім вузлів — 12,5 kW і 18,1 A. Обидва вкладаються у ввід на 32 A з нормальним запасом. Те, що виглядало рішенням «не вистачило кіловат», при ближчому розгляді виявляється рішенням «не вистачило номіналу вводу», і це різні речі: підведення в зал могло бути й більшим, уперлися в те, чим цю потужність роздають по стійці.

The split arrangement looks different. Eight nodes give 14.2 kW at maximum and about 20.6 A per phase; seven nodes, 12.5 kW and 18.1 A. Both fit a 32 A feed with a normal margin. What looked like a decision of “not enough kilowatts” turns out on closer inspection to be “not enough feed rating”, and those are different things: the supply into the room could well have been larger; the limit was in what distributes that power inside the rack.

Три ошибки, которые встречаются чаще всего

Три помилки, які трапляються найчастіше

The three commonest mistakes

Первая: считать по шильдикам блоков питания. В узле с восемью ускорителями стоит восемь блоков по 3200 W, суммарно 25,6 kW установленной мощности при реальном максимуме около 12 600 W. Заказчик, заложивший в заявку энергетикам паспортную сумму, либо получает отказ, либо платит за вдвое большую подведённую мощность, чем ему нужна. Блоки ставятся с запасом и под резервирование, их сумма не является потреблением.

Перша: рахувати за шильдиками блоків живлення. У вузлі з вісьмома прискорювачами стоїть вісім блоків по 3200 W, сумарно 25,6 kW встановленої потужності за реального максимуму близько 12 600 W. Замовник, який заклав у заявку енергетикам паспортну суму, або отримує відмову, або платить за вдвічі більшу підведену потужність, ніж йому потрібна. Блоки ставляться із запасом і під резервування, їхня сума не є споживанням.

First: counting the nameplates on the power supplies. A node with eight accelerators carries eight 3200 W units — 25.6 kW of installed capacity against a real maximum of about 12,600 W. A customer who puts the nameplate total into a request to the utility either gets turned down or pays for twice the supply capacity they need. The units are fitted with headroom and for redundancy; their sum is not consumption.

Вторая, обратная и опаснее: делить нагрузку между лучами. Резервирование по схеме с двумя независимыми вводами означает, что каждый луч обязан держать полную нагрузку, а не половину. Кто считает, что на каждый ввод приходится своя доля, узнаёт об ошибке при первом плановом отключении одного ввода — когда всё переходит на второй. Резервирование не уменьшает требования к лучу, оно их удваивает: два луча по 18 kW, а не два по девять.

Друга, зворотна і небезпечніша: ділити навантаження між променями. Резервування за схемою з двома незалежними вводами означає, що кожен промінь зобов’язаний тримати повне навантаження, а не половину. Хто вважає, що на кожен ввід припадає своя частка, дізнається про помилку під час першого планового відключення одного вводу — коли все переходить на другий. Резервування не зменшує вимоги до променя, воно їх подвоює: два промені по 18 kW, а не два по дев’ять.

Second, the inverse and more dangerous: dividing the load between the two feeds. Redundancy with two independent feeds means each feed must carry the full load, not half of it. Anyone who assumes each feed takes its own share learns otherwise during the first planned shutdown of one of them — when everything moves to the other. Redundancy does not reduce the requirement per feed, it doubles it: two feeds of 18 kW, not two of nine.

Третья: забыть про нейтраль и балансировку. Блоки питания серверов — нелинейная нагрузка, и при перекосе фаз в нейтрали течёт ток, который не компенсируется. Отсюда требование закладывать нейтраль с запасом относительно фазных проводников и следить за равномерностью. Практически это означает, что порядок подключения серверов в розетки — не вопрос аккуратности монтажника. На вертикальном блоке розеток группы разнесены по фазам, и если воткнуть восемь узлов подряд в соседние розетки, они могут оказаться на одной фазе. Ток на ней вырастет втрое против расчётного.

Третя: забути про нейтраль і балансування. Блоки живлення серверів — нелінійне навантаження, і за перекосу фаз у нейтралі тече струм, який не компенсується. Звідси вимога закладати нейтраль із запасом відносно фазних провідників і стежити за рівномірністю. Практично це означає, що порядок підключення серверів у розетки — не питання акуратності монтажника. На вертикальному блоці розеток групи рознесені за фазами, і якщо увіткнути вісім вузлів поспіль у сусідні розетки, вони можуть опинитися на одній фазі. Струм на ній зросте втричі проти розрахункового.

Third: forgetting the neutral and the balancing. Server power supplies are a non-linear load, and when the phases are unbalanced a current flows in the neutral that does not cancel out. Hence the requirement to size the neutral with margin against the phase conductors and to keep the load even. In practice this means the order in which servers are plugged in is not a question of the installer’s tidiness. On a vertical power strip the outlet groups are split across phases, and plugging eight nodes into adjacent outlets in a row can put them all on one phase. The current there will be three times what was calculated.

Отсюда практика, которую стоит требовать от монтажа и фиксировать документом: схема подключения с указанием, какой узел в какую розетку и на какую фазу попадает, с расчётом тока по каждой фазе каждого луча — отдельно в нормальном режиме и отдельно при потере одного луча. Блоки розеток с пофазным измерением тока стоят дороже обычных, и эта разница окупается первым же случаем, когда нужно понять, почему сработала защита.

Звідси практика, яку варто вимагати від монтажу і фіксувати документом: схема підключення із зазначенням, який вузол у яку розетку і на яку фазу потрапляє, з розрахунком струму по кожній фазі кожного променя — окремо в нормальному режимі і окремо при втраті одного променя. Блоки розеток із пофазним вимірюванням струму коштують дорожче за звичайні, і ця різниця окупається першим же випадком, коли треба зрозуміти, чому спрацював захист.

Hence a practice worth demanding from the installation team and recording in a document: a connection diagram showing which node goes into which outlet and onto which phase, with the current calculated for every phase of every feed — separately for normal operation and for the loss of one feed. Power strips with per-phase current metering cost more than plain ones, and that difference pays for itself the first time somebody has to work out why the protection tripped.

И последнее, про источники бесперебойного питания. Их мощность указывается в киловольт-амперах, а не в киловаттах, и у старых моделей коэффициент мощности составляет 0,8. Источник на 20 kVA в этом случае даёт 16 kW, а не 20. У современных моделей коэффициент близок к единице, но проверять это надо по конкретной модели, а не по названию. Ошибка здесь обнаруживается в худший момент — при переходе на батареи.

І останнє, про джерела безперебійного живлення. Їхня потужність зазначається в кіловольт-амперах, а не в кіловатах, і у старих моделей коефіцієнт потужності становить 0,8. Джерело на 20 kVA у цьому випадку дає 16 kW, а не 20. У сучасних моделей коефіцієнт близький до одиниці, але перевіряти це треба за конкретною моделлю, а не за назвою. Помилка тут виявляється в найгірший момент — під час переходу на батареї.

And last, on uninterruptible power supplies. Their capacity is stated in kilovolt-amperes rather than kilowatts, and older models have a power factor of 0.8. A 20 kVA unit in that case delivers 16 kW, not 20. On modern models the factor is close to unity, but that has to be checked against the specific model rather than the product name. A mistake here surfaces at the worst possible moment — during the switch to batteries.

06

Структура счётаСтруктура рахункуThe structure of the bill

Что платит за факт включения

Що платить за факт увімкнення

What you pay just for being switched on

Комплекс на 45 узлов и три площадки. Семьдесят один процент расхода электричества не зависит от того, работает ли что-нибудь.

Комплекс на 45 вузлів і три майданчики. Сімдесят один відсоток витрат електрики не залежить від того, чи працює щось.

A 45-node estate across three sites. Seventy-one percent of the electricity spend does not depend on anything actually running.

Дальше — комплекс целиком, и он показывает вещь, которая меняет подход к экономии.

Далі — комплекс цілком, і він показує річ, яка змінює підхід до економії.

Now the whole estate, which shows something that changes the approach to saving money.

45 узлов на трёх площадках, 7740 ядер, около 90 TB памяти. Работают все три, но нагрузка распределена неравномерно: основная площадка несёт примерно 65% работы, две другие по 17–18% каждая — там живут вспомогательные сервисы и готовность принять основной контур. По потреблению это 17,8 kW на основной площадке и по 12,0 kW на двух остальных. Всего 41,8 kW.

45 вузлів на трьох майданчиках, 7740 ядер, близько 90 TB пам’яті. Працюють усі три, але навантаження розподілене нерівномірно: основний майданчик несе приблизно 65% роботи, два інші по 17–18% кожен — там живуть допоміжні сервіси і готовність прийняти основний контур. За споживанням це 17,8 kW на основному майданчику і по 12,0 kW на двох інших. Усього 41,8 kW.

45 nodes across three sites, 7740 cores, about 90 TB of memory. All three are working, but the load is uneven: the primary site carries roughly 65% of the work, the other two 17–18% each — home to supporting services and to the readiness to take on the primary environment. In power terms that is 17.8 kW on the primary site and 12.0 kW on each of the others. 41.8 kW in total.

А теперь разложим эти 41,8 kW на две части. Узел в простое — это не выключенный узел: память, два десятка накопителей, сетевые карты, вентиляторы и платформа продолжают потреблять независимо от того, считает процессор или нет. По моей оценке такой узел берёт около 660 W против 1210 W под нагрузкой.

А тепер розкладемо ці 41,8 kW на дві частини. Вузол у простої — це не вимкнений вузол: пам’ять, два десятки накопичувачів, мережеві карти, вентилятори і платформа продовжують споживати незалежно від того, чи рахує процесор. За моєю оцінкою такий вузол бере близько 660 W проти 1210 W під навантаженням.

Now let us split those 41.8 kW in two. An idle node is not a switched-off node: the memory, a couple of dozen drives, the network cards, the fans and the platform keep drawing power whether or not the processor is computing. By my estimate such a node takes about 660 W against 1210 W under load.

Отсюда: 29,7 kW приходится на то, что оборудование просто включено, и только 12,1 kW зависит от реальной работы. Семьдесят один процент счёта за электричество платится за факт включения.

Звідси: 29,7 kW припадає на те, що обладнання просто ввімкнене, і лише 12,1 kW залежить від реальної роботи. Сімдесят один відсоток рахунку за електрику платиться за факт увімкнення.

From which: 29.7 kW goes on the equipment simply being switched on, and only 12.1 kW depends on actual work. Seventy-one percent of the electricity bill is paid for being powered up.

Это ломает привычную логику оптимизации. Консолидация нагрузки, повышение утилизации, борьба за плотность виртуальных машин — всё это работает внутри тех 29%, которые остались. Рычаги, которые двигают основную часть, лежат в другом месте и нажимаются один раз: сколько узлов вы включили и сколько ватт стоит одно ядро. После закупки эта часть счёта не оптимизируется никак.

Це ламає звичну логіку оптимізації. Консолідація навантаження, підвищення утилізації, боротьба за щільність віртуальних машин — усе це працює всередині тих 29%, що залишилися. Важелі, які рухають основну частину, лежать в іншому місці й натискаються один раз: скільки вузлів ви ввімкнули і скільки ват коштує одне ядро. Після закупівлі ця частина рахунку не оптимізується ніяк.

This breaks the usual logic of optimisation. Consolidating workloads, raising utilisation, fighting for VM density — all of it operates inside the 29% that is left. The levers that move the bulk of it lie elsewhere and are pulled once: how many nodes you switched on, and how many watts one core costs. After the purchase, that part of the bill cannot be optimised at all.

Семьдесят один процент счёта за электричество платится за факт включения, а не за вычисления.

Сімдесят один відсоток рахунку за електрику платиться за факт увімкнення, а не за обчислення.

Seventy-one percent of the electricity bill is paid for being switched on, not for computing.

Из того же расчёта следует неожиданно приятный вывод про резерв. Если бы резервные площадки ничего не делали, комплекс потреблял бы около 38,2 kW. Работающий резерв обходится в 41,8 — плюс 9% к счёту. А полезной работы при этом делается примерно наполовину больше, потому что вспомогательные сервисы считают на железе, которое всё равно оплачено, запитано и охлаждается.

Із того самого розрахунку випливає несподівано приємний висновок про резерв. Якби резервні майданчики нічого не робили, комплекс споживав би близько 38,2 kW. Працюючий резерв обходиться в 41,8 — плюс 9% до рахунку. А корисної роботи при цьому робиться приблизно наполовину більше, бо допоміжні сервіси рахують на залізі, яке однаково оплачене, запитане й охолоджується.

The same calculation yields an unexpectedly pleasant conclusion about standby capacity. If the standby sites did nothing, the estate would draw about 38.2 kW. A working standby costs 41.8 — 9% more on the bill. And roughly half as much useful work again gets done, because the supporting services compute on hardware that is paid for, powered and cooled anyway.

То есть правильная формулировка не «резерв простаивает и это расточительство», а «резерв должен работать, потому что основную часть его счёта вы платите в любом случае». Единственное условие — задачи на резервных площадках должно быть не жалко подвинуть в момент переключения. Это вопрос регламента, а не электричества.

Тобто правильне формулювання не «резерв простоює і це марнотратство», а «резерв має працювати, бо основну частину його рахунку ви платите в будь-якому разі». Єдина умова — задачі на резервних майданчиках має бути не шкода посунути в момент перемикання. Це питання регламенту, а не електрики.

So the right phrasing is not “the standby sits idle and that is wasteful” but “the standby should be working, because you pay most of its bill either way”. The one condition is that the tasks on the standby sites must be ones you are willing to push aside at failover. That is a matter of the runbook, not of electricity.

Для проектирования питания, замечу, всё равно берётся максимум. Каждая площадка обязана принять полный контур, а это около 27 kW против 12 в обычный день. Разница между тем, что зал должен выдержать, и тем, что он несёт ежедневно, — больше чем вдвое, и оба числа нужны: первое для инженерии, второе для счёта.

Для проєктування живлення, зауважу, однаково береться максимум. Кожен майданчик зобов’язаний прийняти повний контур, а це близько 27 kW проти 12 у звичайний день. Різниця між тим, що зал має витримати, і тим, що він несе щодня, — більш ніж удвічі, і обидва числа потрібні: перше для інженерії, друге для рахунку.

For designing the power supply, I should note, the maximum still applies. Each site has to be able to take the full environment, and that is about 27 kW against 12 on an ordinary day. The gap between what the room must withstand and what it carries daily is more than twofold, and both numbers are needed: the first for engineering, the second for the bill.

07

Чек-листЧек-листChecklist

Что проверить до закупки

Що перевірити до закупівлі

What to check before buying

Восемь вопросов, которые стоит пройти до того, как оборудование приедет на площадку.

Вісім питань, які варто пройти до того, як обладнання приїде на майданчик.

Eight questions worth going through before the equipment arrives on site.

1. Какой подвод электричества на стойку есть фактически, а не по проекту здания. Если цифры нет — посчитать по тому, что уже стоит и работает.
2. Сколько киловатт даёт закупаемый комплект в типовой работе и сколько на расчётном максимуме. Это два разных числа, и нужны оба.
3. Как устроено резервирование питания: при схеме с двумя лучами каждый должен держать полную нагрузку, а не половину.
4. Какой номинал у вводных автоматов и сколько это даёт с учётом правила 80%. Мощность зала и номинал ввода в стойку — разные ограничения.
5. Есть ли схема подключения по фазам с расчётом тока на каждой фазе каждого луча — в нормальном режиме и при потере одного ввода.
6. В каких единицах указана мощность источника бесперебойного питания и какой у него коэффициент мощности.
7. Сколько стоек потребуется по питанию, а не по юнитам, и что это делает с доменами отказа платформы.
8. Сколько ватт приходится на ядро в выбранном процессоре и как это соотносится с лицензионной метрикой платформы.

1. Яке підведення електрики на стійку є фактично, а не за проєктом будівлі. Якщо цифри немає — порахувати за тим, що вже стоїть і працює.
2. Скільки кіловат дає комплект, що закуповується, у типовій роботі і скільки на розрахунковому максимумі. Це два різні числа, і потрібні обидва.
3. Як влаштоване резервування живлення: за схеми з двома променями кожен має тримати повне навантаження, а не половину.
4. Який номінал у ввідних автоматів і скільки це дає з урахуванням правила 80%. Потужність залу і номінал вводу у стійку — різні обмеження.
5. Чи є схема підключення за фазами з розрахунком струму на кожній фазі кожного променя — у нормальному режимі і при втраті одного вводу.
6. У яких одиницях зазначена потужність джерела безперебійного живлення і який у нього коефіцієнт потужності.
7. Скільки стійок знадобиться за живленням, а не за юнітами, і що це робить із доменами відмови платформи.
8. Скільки ват припадає на ядро в обраному процесорі і як це співвідноситься з ліцензійною метрикою платформи.

1. What power feed per rack actually exists, as opposed to what the building design says. If there is no figure, derive it from what is already installed and running.
2. How many kilowatts the equipment being bought draws in normal operation and at the calculated maximum. These are two different numbers, and you need both.
3. How the power redundancy works: with two feeds, each must carry the full load, not half of it.
4. What the incoming breakers are rated at and what that yields under the 80% rule. The room’s capacity and the rack’s feed rating are different constraints.
5. Is there a per-phase connection diagram with the current calculated for every phase of every feed — in normal operation and on the loss of one feed?
6. In what units the UPS capacity is stated, and what its power factor is.
7. How many racks will be needed on power rather than on rack units, and what that does to the platform’s failure domains.
8. How many watts per core the chosen processor has, and how that relates to the platform’s licensing metric.

08

ИтогПідсумокWrap-up

Вместо вывода

Замість висновку

In place of a conclusion

Инфраструктуру покупают в ядрах и терабайтах, а размещают в киловаттах. Пока эти две величины живут в разных документах и обсуждаются разными людьми, разрыв между ними будет обнаруживаться на этапе монтажа — в самый неудобный момент, когда оборудование уже пришло.

Інфраструктуру купують у ядрах і терабайтах, а розміщують у кіловатах. Поки ці дві величини живуть у різних документах і обговорюються різними людьми, розрив між ними виявлятиметься на етапі монтажу — у найнезручніший момент, коли обладнання вже прийшло.

Infrastructure is bought in cores and terabytes but installed in kilowatts. While those two quantities live in different documents and are discussed by different people, the gap between them will keep surfacing during installation — at the least convenient moment, when the equipment has already arrived.

Хорошая новость в том, что посчитать это можно заранее и без специальных знаний. Состав конфигурации известен до закупки, мощность компонентов опубликована, арифметика простая. Плохая — что после закупки поменять почти ничего нельзя: основная часть счёта за электричество определяется тем, сколько узлов вы включили, а это решение принимается один раз.

Хороша новина в тому, що порахувати це можна заздалегідь і без спеціальних знань. Склад конфігурації відомий до закупівлі, потужність компонентів опублікована, арифметика проста. Погана — що після закупівлі змінити майже нічого не можна: основна частина рахунку за електрику визначається тим, скільки вузлів ви ввімкнули, а це рішення ухвалюється один раз.

The good news is that this can be worked out in advance and without special knowledge. The configuration is known before the purchase, component power figures are published, and the arithmetic is simple. The bad news is that almost nothing can be changed afterwards: the bulk of the electricity bill is set by how many nodes you switched on, and that decision is taken once.