01

Плотные узлыЩільні вузлиDense nodes

Гиперконвергенция: потребление и температура

Гіперконвергенція: споживання і температура

Hyperconvergence: power and temperature

Узел, набитый накопителями, потребляет вдвое больше обычного сервера и хуже продувается. Пороги мониторинга при этом от прошлого поколения.

Вузол, напханий накопичувачами, споживає вдвічі більше за звичайний сервер і гірше продувається. Пороги моніторингу при цьому від минулого покоління.

A node packed with drives draws twice as much as an ordinary server and breathes worse. The monitoring thresholds, meanwhile, belong to the previous generation.

Начну с гиперконвергентных узлов, потому что это самый массовый тип машины на площадках, о которых пойдёт речь, и потому что у него есть особенность, про которую редко говорят.

Почну з гіперконвергентних вузлів, бо це наймасовіший тип машини на майданчиках, про які йтиметься, і бо в нього є особливість, про яку рідко говорять.

I will start with hyperconverged nodes, because they are the commonest machine type on the sites in question and because they have a quirk that is rarely discussed.

Узел гиперконвергенции — это сервер, в который набили накопителей. В обычном сервере баз данных накопителей два-четыре, а здесь их восемь, двенадцать или двадцать четыре, и все твердотельные. Отсюда два следствия.

Вузол гіперконвергенції — це сервер, у який напхали накопичувачів. У звичайному сервері баз даних накопичувачів два-чотири, а тут їх вісім, дванадцять або двадцять чотири, і всі твердотільні. Звідси два наслідки.

A hyperconverged node is a server that has been packed with drives. An ordinary database server has two to four; here there are eight, twelve or twenty-four, all solid-state. Two consequences follow.

Первое — по потреблению. Накопители дают пятую часть расхода узла и дают её почти постоянно: в простое они могли бы потреблять вдвое меньше, но в кластере фоновые операции, дедупликация и репликация не дают им туда уйти. Узел на 172 ядра с двумя десятками накопителей берёт около 1780 W против 695 W у сервера баз данных с теми же по классу процессорами.

Перший — щодо споживання. Накопичувачі дають п’яту частину витрат вузла і дають її майже постійно: у простої вони могли б споживати вдвічі менше, але в кластері фонові операції, дедуплікація і реплікація не дають їм туди піти. Вузол на 172 ядра з двома десятками накопичувачів бере близько 1780 W проти 695 W у сервера баз даних із тими самими за класом процесорами.

The first concerns power. The drives account for a fifth of the node’s draw and account for it almost constantly: at idle they could consume half as much, but in a cluster the background operations, deduplication and replication never let them get there. A 172-core node with a couple of dozen drives takes about 1780 W, against 695 W for a database server with processors of the same class.

Второе — по теплу, и вот это важнее. Плотно набитый узел 1U с накопителями по всей передней панели имеет мало места для прохода воздуха. Всё, что входит спереди, проходит сначала через накопители, потом через память, потом через процессоры и уходит назад уже изрядно подогретым.

Другий — щодо тепла, і ось це важливіше. Щільно напханий вузол 1U з накопичувачами по всій передній панелі має мало місця для проходу повітря. Усе, що входить спереду, проходить спочатку через накопичувачі, потім через пам’ять, потім через процесори і йде назад уже добряче підігрітим.

The second concerns heat, and it matters more. A densely packed 1U node with drives across the whole front panel leaves little room for air to pass. Everything that enters at the front goes first through the drives, then the memory, then the processors, and leaves at the back already thoroughly warmed.

На замерах с работающего кластера это видно прямо. Узлы текущего поколения, установленные вплотную друг к другу без просветов, показывают на процессорах до 76 градусов. Память — до 51. Чипсет — до 51. Сам процессор сообщает верхнюю границу нормальной работы на уровне 92 градусов и критическую — на 100, а собственно снижение частоты по кристаллу начинается ещё выше. То есть запас есть, но он меньше, чем хотелось бы, и меньше, чем у тех же процессоров в менее плотном корпусе.

На замірах із працюючого кластера це видно прямо. Вузли поточного покоління, встановлені впритул один до одного без просвітів, показують на процесорах до 76 градусів. Пам’ять — до 51. Чипсет — до 51. Сам процесор повідомляє верхню межу нормальної роботи на рівні 92 градусів і критичну — на 100, а власне зниження частоти по кристалу починається ще вище. Тобто запас є, але він менший, ніж хотілося б, і менший, ніж у тих самих процесорів у менш щільному корпусі.

Measurements on a live cluster show it plainly. Current-generation nodes installed flush against one another with no gaps report up to 76 degrees on the processors. Memory, up to 51. The chipset, up to 51. The processor itself reports the top of its normal range at 92 degrees and its critical point at 100, with actual frequency reduction starting higher still. So there is margin, but less than one would like, and less than the same processors have in a less dense chassis.

Из этого следует практическая рекомендация, которая ничего не стоит на этапе монтажа и которую почти никогда не выполняют: плотные узлы не надо ставить сплошной колонной. Один пустой юнит между группами узлов, закрытый заглушкой, заметно меняет картину распределения воздуха. Если свободных юнитов нет — тем более нельзя оставлять открытые проёмы в других местах стойки, потому что горячий воздух пойдёт через них обратно.

Із цього випливає практична рекомендація, яка нічого не коштує на етапі монтажу і яку майже ніколи не виконують: щільні вузли не треба ставити суцільною колоною. Один порожній юніт між групами вузлів, закритий заглушкою, помітно змінює картину розподілу повітря. Якщо вільних юнітів немає — тим паче не можна залишати відкриті прорізи в інших місцях стійки, бо гаряче повітря піде через них назад.

From which follows a practical recommendation that costs nothing during installation and that almost nobody follows: dense nodes should not be stacked in a solid column. One empty rack unit between groups of nodes, closed with a blanking panel, visibly changes how the air is distributed. If there are no free units, then it is all the more important not to leave open gaps elsewhere in the rack, because hot air will flow back through them.

И отдельно про пороги мониторинга

І окремо про пороги моніторингу

And separately, on monitoring thresholds

В штатных шаблонах систем мониторинга пороги по температуре процессора обычно стоят на 70 градусах для предупреждения и 75 для критического уровня. Для процессоров прошлых поколений это было разумно. Для текущих, которые сами сообщают границу нормальной работы на 92 градусах, это означает поток ложных срабатываний: система круглосуточно сообщает о критическом перегреве машины, которая работает штатно.

У штатних шаблонах систем моніторингу пороги за температурою процесора зазвичай стоять на 70 градусах для попередження і 75 для критичного рівня. Для процесорів минулих поколінь це було розумно. Для поточних, які самі повідомляють межу нормальної роботи на 92 градусах, це означає потік хибних спрацювань: система цілодобово повідомляє про критичний перегрів машини, яка працює штатно.

In the stock templates of monitoring systems, processor temperature thresholds are usually set at 70 degrees for a warning and 75 for critical. For earlier processor generations that was sensible. For current ones, which report the top of their normal range at 92 degrees, it means a stream of false alarms: the system reports critical overheating around the clock on a machine that is running perfectly normally.

Последствия у этого хуже, чем кажется. Дежурная смена привыкает к красному цвету и перестаёт на него реагировать. А когда появится настоящий перегрев, он утонет в потоке тех же сообщений. Пороги надо приводить к значениям, которые сообщают сами процессоры конкретной модели, — это разовая работа на полдня, и она возвращает мониторингу смысл.

Наслідки в цього гірші, ніж здається. Чергова зміна звикає до червоного кольору і перестає на нього реагувати. А коли з’явиться справжній перегрів, він потоне в потоці тих самих повідомлень. Пороги треба приводити до значень, які повідомляють самі процесори конкретної моделі, — це разова робота на півдня, і вона повертає моніторингу сенс.

The consequences are worse than they look. The duty shift gets used to the colour red and stops reacting to it. And when real overheating arrives, it drowns in the same stream of messages. The thresholds should be brought in line with what the processors of that specific model report themselves — half a day’s one-off work that gives monitoring its meaning back.

Заодно проверьте пороги по остальным датчикам. В том же наборе сообщений мне попался порог на время отклика дискового массива, выставленный в одну десятитысячную микросекунды — величину, которую не даст никакое оборудование в принципе. Такое срабатывает всегда и не означает ничего.

Заодно перевірте пороги за рештою датчиків. У тому самому наборі повідомлень мені трапився поріг на час відгуку дискового масиву, виставлений в одну десятитисячну мікросекунди — величину, якої не дасть жодне обладнання в принципі. Таке спрацьовує завжди і не означає нічого.

While you are at it, check the thresholds on the other sensors. In the same batch of alerts I came across a disk-array response-time threshold set at one ten-thousandth of a microsecond — a figure no equipment can produce in principle. Something like that fires always and means nothing.

Дежурная смена привыкает к красному цвету и перестаёт на него реагировать. Настоящий перегрев утонет в том же потоке.

Чергова зміна звикає до червоного кольору і перестає на нього реагувати. Справжній перегрів потоне в тому самому потоці.

The duty shift gets used to the colour red and stops reacting to it. Real overheating drowns in the same stream.

02

НакоплениеНакопиченняAccumulation

Три поколения в одной стойке

Три покоління в одній стійці

Three generations in one rack

Двадцать один киловатт в стойке, где нет ни одного ускорителя. Ни одна закупка не смотрела на сумму.

Двадцять один кіловат у стійці, де немає жодного прискорювача. Жодна закупівля не дивилася на суму.

Twenty-one kilowatts in a rack with no accelerators at all. Not one purchase looked at the total.

Первая площадка. В стойке стоят две группы гиперконвергентных узлов разных поколений, дисковый массив с полкой, два коммутатора фабрики и коммутатор управления.

Перший майданчик. У стійці стоять дві групи гіперконвергентних вузлів різних поколінь, дисковий масив із полицею, два комутатори фабрики і комутатор управління.

The first site. The rack holds two groups of hyperconverged nodes from different generations, a disk array with a shelf, two fabric switches and a management switch.

Старая группа — десять узлов: пять по 32 ядра и пять по 48, с памятью по 768 GB и гибридным хранением. Новая группа — девять узлов по 48 ядер, с 2 TB памяти и полностью твердотельным хранением на каждом. Плюс массив предыдущего поколения с полкой на 24 диска.

Стара група — десять вузлів: п’ять по 32 ядра і п’ять по 48, з пам’яттю по 768 GB і гібридним зберіганням. Нова група — дев’ять вузлів по 48 ядер, із 2 TB пам’яті та повністю твердотільним зберіганням на кожному. Плюс масив попереднього покоління з полицею на 24 диски.

The old group is ten nodes: five with 32 cores and five with 48, 768 GB of memory each and hybrid storage. The new group is nine nodes of 48 cores, with 2 TB of memory and all-flash storage each. Plus a previous-generation array with a 24-drive shelf.

Считаем: 33 юнита и 21,2 kW в типовой работе. 832 ядра, 26 TB памяти, 570 TB логической ёмкости.

Рахуємо: 33 юніти і 21,2 kW у типовій роботі. 832 ядра, 26 TB пам’яті, 570 TB логічної ємності.

The totals: 33 rack units and 21.2 kW in normal operation. 832 cores, 26 TB of memory, 570 TB of logical capacity.

Двадцать один киловатт в стойке, где нет ни одного ускорителя. Для сравнения: кластер из 15 современных узлов, о котором шла речь в прошлом выпуске, давал 18,2 kW и не влез в один ввод. Здесь получилось больше — обычными узлами, просто накопленными за три поколения.

Двадцять один кіловат у стійці, де немає жодного прискорювача. Для порівняння: кластер із 15 сучасних вузлів, про який ішлося в минулому випуску, давав 18,2 kW і не вліз в один ввід. Тут вийшло більше — звичайними вузлами, просто накопиченими за три покоління.

Twenty-one kilowatts in a rack with not a single accelerator. For comparison: the 15-node modern cluster from the last issue came to 18.2 kW and did not fit one feed. Here the figure is higher — with ordinary nodes, simply accumulated over three generations.

По фазам картина такая же неприятная: 30,7 A на фазу при рабочем пределе 25,6 A для ввода на 32 A. Стойка не проходит по вводу. И при этом в ней девять свободных юнитов. Ровно тот случай, ради которого писался прошлый выпуск, только здесь он сложился сам, без чьего-либо решения — просто потому, что каждая закупка смотрела на свои юниты и не смотрела на сумму.

За фазами картина така ж неприємна: 30,7 A на фазу за робочої межі 25,6 A для вводу на 32 A. Стійка не проходить за вводом. І при цьому в ній дев’ять вільних юнітів. Рівно той випадок, заради якого писався минулий випуск, тільки тут він склався сам, без чийогось рішення — просто тому, що кожна закупівля дивилася на свої юніти і не дивилася на суму.

By phase the picture is just as unpleasant: 30.7 A per phase against a working limit of 25.6 A for a 32 A feed. The rack does not fit its feed. And it has nine free rack units. Exactly the case the previous issue was written about, except that here it assembled itself, with nobody deciding anything — simply because each purchase looked at its own rack units and not at the total.

Вторая площадка того же заказчика устроена похоже: 29 юнитов, 21,4 kW, четыре сервера прошлого поколения вместо массива.

Другий майданчик того самого замовника влаштований схоже: 29 юнітів, 21,4 kW, чотири сервери минулого покоління замість масиву.

The same customer’s second site is arranged much the same way: 29 rack units, 21.4 kW, four previous-generation servers instead of an array.

03

ЭффективностьЕфективністьEfficiency

Метрика зависит от того, чего не хватает

Метрика залежить від того, чого бракує

The metric depends on what you are short of

По ядрам на киловатт новое поколение проигрывает старому. По терабайтам — выигрывает втрое.

За ядрами на кіловат нове покоління програє старому. За терабайтами — виграє втричі.

On cores per kilowatt the new generation loses to the old one. On terabytes it wins threefold.

В прошлом выпуске был раздел про ватты на ядро, где выходило, что плотный процессор экономнее. Здесь эта логика разворачивается, и разбор стоит того, чтобы его провести.

У минулому випуску був розділ про вати на ядро, де виходило, що щільний процесор економніший. Тут ця логіка розвертається, і розбір вартий того, щоб його провести.

The previous issue had a section on watts per core showing that a dense processor is more frugal. Here that logic turns around, and the analysis is worth doing.

Сравним узлы целиком, а не процессоры. Старый узел на 32 ядра даёт 47 ядер на киловатт. Старый на 48 ядер — 57. А новый, тоже на 48 ядер, — всего 38. По ядрам на киловатт новое поколение проигрывает старому в полтора раза.

Порівняймо вузли цілком, а не процесори. Старий вузол на 32 ядра дає 47 ядер на кіловат. Старий на 48 ядер — 57. А новий, теж на 48 ядер, — усього 38. За ядрами на кіловат нове покоління програє старому в півтора раза.

Let us compare whole nodes rather than processors. The old 32-core node gives 47 cores per kilowatt. The old 48-core one gives 57. And the new one, also 48 cores, gives just 38. On cores per kilowatt the new generation loses to the old by half as much again.

Причина не в процессорах. Новый узел несёт втрое больше памяти и вчетверо больше ёмкости, и всё это потребляет. По терабайтам на киловатт он выигрывает в 2,3–2,8 раза, по памяти — в полтора.

Причина не в процесорах. Новий вузол несе втричі більше пам’яті і вчетверо більше ємності, і все це споживає. За терабайтами на кіловат він виграє у 2,3–2,8 раза, за пам’яттю — у півтора.

The reason is not the processors. The new node carries three times the memory and four times the capacity, and all of it draws power. On terabytes per kilowatt it wins by 2.3 to 2.8 times, and on memory by half as much again.

Отсюда вывод, который я считаю главным в этом выпуске. Единой метрики эффективности не существует, метрика выбирается по дефициту. Упираетесь в вычисления — считайте ядра на киловатт, и тогда плотный процессор с минимумом обвязки выигрывает. Упираетесь в ёмкость — считайте терабайты на киловатт, и ответ будет обратным. Считать «вообще» бессмысленно: одна и та же пара узлов даст противоположные результаты в зависимости от того, что вы поделили на что.

Звідси висновок, який я вважаю головним у цьому випуску. Єдиної метрики ефективності не існує, метрика обирається за дефіцитом. Упираєтеся в обчислення — рахуйте ядра на кіловат, і тоді щільний процесор із мінімумом обв’язки виграє. Упираєтеся в ємність — рахуйте терабайти на кіловат, і відповідь буде зворотною. Рахувати «взагалі» безглуздо: одна й та сама пара вузлів дасть протилежні результати залежно від того, що ви поділили на що.

From which comes the conclusion I consider the main one of this issue. There is no single efficiency metric; the metric is chosen by what is scarce. If compute is the constraint, count cores per kilowatt, and a dense processor with minimal surrounding hardware wins. If capacity is the constraint, count terabytes per kilowatt, and the answer reverses. Counting “in general” is meaningless: the same pair of nodes gives opposite results depending on what you divided by what.

И практическое следствие для разговора о замене парка. Фраза «новое поколение экономичнее» верна ровно настолько, насколько новый узел повторяет конфигурацию старого. Если вместе с поколением выросли память и ёмкость — а они всегда растут, — узел станет потреблять больше, и замена по принципу «меняем один на один» даст рост потребления, а не снижение.

І практичний наслідок для розмови про заміну парку. Фраза «нове покоління економічніше» вірна рівно настільки, наскільки новий вузол повторює конфігурацію старого. Якщо разом із поколінням зросли пам’ять і ємність — а вони завжди зростають, — вузол стане споживати більше, і заміна за принципом «міняємо один на один» дасть зростання споживання, а не зниження.

And a practical consequence for any conversation about replacing an estate. The phrase “the new generation is more efficient” is true exactly to the extent that the new node repeats the old one’s configuration. If memory and capacity grew along with the generation — and they always do — the node will draw more, and a one-for-one replacement will raise consumption rather than lower it.

04

Возраст паркаВік паркуThe age of the estate

Слои, которые никто не складывал

Шари, які ніхто не складав

Layers nobody added up

Четыре стойки, пять поколений, 25 киловатт. Половину даёт слой, который давно перестал быть основным.

Чотири стійки, п’ять поколінь, 25 кіловат. Половину дає шар, який давно перестав бути основним.

Four racks, five generations, 25 kilowatts. Half of it comes from a layer that stopped being the main one long ago.

Вторая площадка — другой заказчик и другая история. Здесь парк рос не тремя слоями, а пятью, начиная с 2012 года. Четыре стойки, 83 юнита оборудования, 25,5 kW в типовой работе.

Другий майданчик — інший замовник і інша історія. Тут парк ріс не трьома шарами, а п’ятьма, починаючи з 2012 року. Чотири стійки, 83 юніти обладнання, 25,5 kW у типовій роботі.

The second site is a different customer and a different story. Here the estate grew not in three layers but in five, starting in 2012. Four racks, 83 rack units of equipment, 25.5 kW in normal operation.

Сетевое оборудование — отдельной строкой: 24 устройства и 4,8 kW, то есть 19% мощности площадки. Почти пятая часть электричества уходит на коммутаторы, из которых половина выпущена больше десяти лет назад. В отдельных стойках доля сети доходит до 29%.

Мережеве обладнання — окремим рядком: 24 пристрої і 4,8 kW, тобто 19% потужності майданчика. Майже п’ята частина електрики йде на комутатори, з яких половина випущена понад десять років тому. В окремих стійках частка мережі сягає 29%.

Network equipment deserves its own line: 24 devices and 4.8 kW, that is 19% of the site’s power. Almost a fifth of the electricity goes to switches, half of which were made more than ten years ago. In individual racks the networking share reaches 29%.

Это число я привожу специально, потому что оно ломает привычное представление. Когда считают потребление, считают серверы. Сеть в расчёте обычно фигурирует как «ну и коммутаторы ещё». Здесь коммутаторы едят больше, чем весь новый парк вместе взятый, и при этом каждый из них по отдельности выглядит незначительным — 390 W, кто их считает.

Це число я наводжу спеціально, бо воно ламає звичне уявлення. Коли рахують споживання, рахують сервери. Мережа в розрахунку зазвичай фігурує як «ну і комутатори ще». Тут комутатори їдять більше, ніж увесь новий парк разом узятий, і при цьому кожен з них окремо виглядає незначним — 390 W, хто їх рахує.

I cite this figure deliberately, because it breaks the usual assumption. When people count power, they count servers. Networking usually appears in the calculation as “and the switches too, I suppose”. Here the switches eat more than the entire new estate put together, yet each of them looks trivial on its own — 390 W, who counts those?

Доля сети к тому же распределена неравномерно. В стойках, где собраны коммутаторы ядра и доступа, она доходит до четверти и даже до 29%, а в стойке, где стоят только серверы, падает до одного процента. Это стоит учитывать при планировании: стойка с сетевым оборудованием требует своего расчёта, и переносить в неё серверы «раз там место есть» может оказаться нельзя.

Частка мережі до того ж розподілена нерівномірно. У стійках, де зібрані комутатори ядра і доступу, вона сягає чверті і навіть 29%, а в стійці, де стоять лише сервери, падає до одного відсотка. Це варто враховувати при плануванні: стійка з мережевим обладнанням потребує свого розрахунку, і переносити в неї сервери «раз там місце є» може виявитися не можна.

That networking share is also spread unevenly. In the racks holding the core and access switches it reaches a quarter and even 29%, while in a rack of servers only it falls to one percent. Worth bearing in mind when planning: a rack with network equipment needs its own calculation, and moving servers into it “because there is space there” may turn out to be impossible.

Второе наблюдение — про середину списка. Тридцать серверов одного поколения дают половину всего расхода. Это не старейшее оборудование и не новейшее, это тот слой, который когда-то был основным, а потом никуда не делся. Его не выводят из эксплуатации, потому что на нём что-то работает, и не модернизируют, потому что бюджет уходит на новое. За десять лет такой слой становится главной статьёй расхода, и обнаруживается это только когда кто-то садится и складывает всё вместе.

Друге спостереження — про середину списку. Тридцять серверів одного покоління дають половину всіх витрат. Це не найстаріше обладнання і не найновіше, це той шар, який колись був основним, а потім нікуди не дівся. Його не виводять з експлуатації, бо на ньому щось працює, і не модернізують, бо бюджет іде на нове. За десять років такий шар стає головною статтею витрат, і виявляється це тільки коли хтось сідає і складає все разом.

The second observation concerns the middle of the list. Thirty servers of one generation account for half the total draw. This is neither the oldest equipment nor the newest; it is the layer that used to be the main one and then simply stayed. It is not retired, because something is running on it, and it is not modernised, because the budget goes to the new. Over ten years such a layer becomes the main expense, and that is discovered only when somebody sits down and adds everything up.

Коммутаторы едят больше, чем весь новый парк вместе взятый. И каждый по отдельности выглядит незначительным.

Комутатори їдять більше, ніж увесь новий парк разом узятий. І кожен окремо виглядає незначним.

The switches eat more than the entire new estate put together. And each of them looks trivial on its own.

05

Инженерные комплексыІнженерні комплексиEngineered appliances

Когда стойка приезжает целиком

Коли стійка приїжджає цілком

When the rack arrives whole

Есть класс систем, где питание посчитано вендором до покупки. И где шкаф занят целиком с первого дня.

Є клас систем, де живлення пораховане вендором до купівлі. І де шафа зайнята цілком з першого дня.

There is a class of systems where the vendor has calculated the power before you buy. And where the cabinet is fully occupied from day one.

До сих пор речь шла о стойках, которые собирают сами: покупают серверы, ставят в шкаф, подключают. Есть другой класс систем, где шкаф приезжает как единое изделие, и разговор про питание там устроен принципиально иначе.

Досі йшлося про стійки, які збирають самі: купують сервери, ставлять у шафу, підключають. Є інший клас систем, де шафа приїжджає як єдиний виріб, і розмова про живлення там влаштована принципово інакше.

So far we have been talking about racks assembled in-house: you buy servers, put them in a cabinet, connect them. There is another class of systems where the cabinet arrives as a single product, and the power conversation there works in a fundamentally different way.

Это инженерные комплексы — машины баз данных, комплексы обработки больших данных, специализированные системы резервного копирования. Внутри у них обычное серверное железо, отличается мощность компонентов и состав. Снаружи — готовый шкаф, в котором уже стоят многофазные блоки распределения питания, уже разведена внутренняя сеть, уже рассчитано охлаждение.

Це інженерні комплекси — машини баз даних, комплекси обробки великих даних, спеціалізовані системи резервного копіювання. Усередині в них звичайне серверне залізо, відрізняється потужність компонентів і склад. Зовні — готова шафа, в якій уже стоять багатофазні блоки розподілу живлення, уже розведена внутрішня мережа, уже розраховане охолодження.

These are engineered appliances — database machines, big-data processing systems, purpose-built backup appliances. Inside they hold ordinary server hardware; what differs is the component power and the mix. Outside is a finished cabinet with multi-phase power distribution units already fitted, the internal network already wired and the cooling already calculated.

Типовая начальная конфигурация такой машины — два сервера баз данных и три сервера хранения. В корпусах по 2U это порядка 10 юнитов оборудования плюс коммутаторы внутренней фабрики. Шкаф при этом стоит целиком, все 42 юнита, и рассчитан он на полное заполнение.

Типова початкова конфігурація такої машини — два сервери баз даних і три сервери зберігання. У корпусах по 2U це близько 10 юнітів обладнання плюс комутатори внутрішньої фабрики. Шафа при цьому стоїть цілком, усі 42 юніти, і розрахована вона на повне заповнення.

A typical starting configuration for such a machine is two database servers and three storage servers. In 2U chassis that comes to around 10 rack units of equipment plus the internal fabric switches. The cabinet, meanwhile, stands whole — all 42 units — and is designed for full population.

Хорошая сторона: расширение не требует пересчёта питания. Узлы добавляются по одному или блоками, исходя из нужной ёмкости и производительности, и вопрос «влезет ли по киловаттам» не возникает — вендор заложил его заранее, блоки распределения уже стоят, номиналы подобраны под полный шкаф. Это сильно упрощает жизнь на горизонте нескольких лет: вы точно знаете, что дорастёте без разговоров с энергетиками.

Хороша сторона: розширення не потребує перерахунку живлення. Вузли додаються по одному або блоками, виходячи з потрібної ємності та продуктивності, і питання «чи влізе за кіловатами» не виникає — вендор заклав його заздалегідь, блоки розподілу вже стоять, номінали підібрані під повну шафу. Це сильно спрощує життя на горизонті кількох років: ви точно знаєте, що доростете без розмов з енергетиками.

The good side: expansion needs no recalculation of power. Nodes are added one at a time or in blocks according to the capacity and performance needed, and the question “will it fit in kilowatts?” never arises — the vendor allowed for it in advance, the distribution units are already there and the ratings are chosen for a full cabinet. That simplifies life considerably over several years: you know for certain you can grow without conversations with the utility.

Обратная сторона: место и подвод заняты под полный шкаф с первого дня. Вы покупаете четверть заполнения, а зал должен отдать под него площадь целого шкафа и подвод, рассчитанный на его максимум. Для зала с ограниченным подводом это может оказаться дороже, чем кажется при покупке.

Зворотний бік: місце і підведення зайняті під повну шафу з першого дня. Ви купуєте чверть заповнення, а зал має віддати під нього площу цілої шафи і підведення, розраховане на її максимум. Для залу з обмеженим підведенням це може виявитися дорожче, ніж здається при купівлі.

The other side: space and power are committed to a full cabinet from day one. You buy a quarter of the population, and the room has to give up the floor area of a whole cabinet and a feed sized for its maximum. For a room with a limited supply, that can turn out dearer than it looks at the point of purchase.

Требования к подводу у таких систем производитель публикует открыто, в документации по планированию площадки: там указаны и мощность, и тепловыделение, и требования к вводам. Это стоит прочитать до закупки, а не после — в отличие от обычных серверов, здесь всё посчитано за вас и просто написано.

Вимоги до підведення в таких систем виробник публікує відкрито, у документації з планування майданчика: там зазначені і потужність, і тепловиділення, і вимоги до вводів. Це варто прочитати до закупівлі, а не після — на відміну від звичайних серверів, тут усе пораховано за вас і просто написано.

The power requirements for such systems are published openly by the manufacturer in its site-planning documentation: power, heat output and feed requirements are all stated there. Worth reading before the purchase rather than after — unlike ordinary servers, here it has all been calculated for you and simply written down.

Отдельная история — мейнфреймы. Там фиксировано вообще всё: состав шкафа, питание, охлаждение, разъёмы. Система приезжает как единое целое, подключается по собственной схеме, и никакой свободы в компоновке нет по определению. С точки зрения планирования зала это проще всего: есть одно число, под которое надо подготовить место. С точки зрения гибкости — противоположность самосборной стойке.

Окрема історія — мейнфрейми. Там зафіксовано взагалі все: склад шафи, живлення, охолодження, роз’єми. Система приїжджає як єдине ціле, підключається за власною схемою, і жодної свободи в компонуванні немає за визначенням. З погляду планування залу це найпростіше: є одне число, під яке треба підготувати місце. З погляду гнучкості — протилежність самозбірній стійці.

Mainframes are a story of their own. There, everything is fixed: the cabinet’s contents, the power, the cooling, the connectors. The system arrives as a single whole, connects according to its own scheme, and there is no layout freedom by definition. From a room-planning point of view this is the easiest case: there is one number to prepare the space for. From a flexibility point of view, it is the opposite of a self-assembled rack.

Практический вывод. Если в вашем парке есть или планируется такой комплекс, его нельзя учитывать в общей арифметике стоек наравне с обычными серверами. Это отдельная единица планирования со своим подводом, своим тепловыделением и своим, заранее известным потолком роста. И это, пожалуй, единственный случай, когда вопрос «а влезет ли расширение» имеет ответ ещё до того, как расширение понадобилось.

Практичний висновок. Якщо у вашому парку є або планується такий комплекс, його не можна враховувати в загальній арифметиці стійок нарівні зі звичайними серверами. Це окрема одиниця планування зі своїм підведенням, своїм тепловиділенням і своєю, заздалегідь відомою стелею зростання. І це, мабуть, єдиний випадок, коли питання «а чи влізе розширення» має відповідь ще до того, як розширення знадобилося.

The practical conclusion. If your estate has or will have such an appliance, it cannot be counted in the general rack arithmetic alongside ordinary servers. It is a planning unit of its own, with its own feed, its own heat output and its own, known-in-advance ceiling for growth. And it is perhaps the only case where the question “will the expansion fit?” has an answer before the expansion is needed.

06

ОхлаждениеОхолодженняCooling

Предел воздуха

Межа повітря

The limit of air

Несколько отраслевых порогов, после которых схема охлаждения меняется не по желанию, а по физике.

Кілька галузевих порогів, після яких схема охолодження змінюється не за бажанням, а за фізикою.

A handful of industry thresholds, past which the cooling design changes by physics rather than by preference.

Мощность, которую мы посчитали, надо отвести в виде тепла. Про охлаждение достаточно знать несколько порогов, и они отраслевые, а не вендорские.

Потужність, яку ми порахували, треба відвести у вигляді тепла. Про охолодження достатньо знати кілька порогів, і вони галузеві, а не вендорські.

The power we have counted has to be removed as heat. For cooling it is enough to know a few thresholds, and they are industry-wide rather than vendor-specific.

Обе разобранные площадки живут в диапазоне от 3 до 21 kW на стойку. То есть верхние стойки уже вышли из зоны, где достаточно коридоров и заглушек, и попали туда, где нужен внимательный контроль за воздухом. Никакого решения об этом не принималось — просто добавили очередной слой.

Обидва розібрані майданчики живуть у діапазоні від 3 до 21 kW на стійку. Тобто верхні стійки вже вийшли із зони, де достатньо коридорів і заглушок, і потрапили туди, де потрібен уважний контроль за повітрям. Жодного рішення про це не ухвалювалося — просто додали черговий шар.

Both of the sites examined here live in a range of 3 to 21 kW per rack. So the heaviest racks have already left the zone where aisles and blanking panels suffice and entered the one that needs careful control of the air. No decision about that was ever taken — another layer was simply added.

Полезно сопоставить требуемый воздух с тем, что даёт существующая система. Перфорированная плитка фальшпола пропускает обычно от 300 до 600 кубических футов в минуту. Стойка на 21 kW требует около 3300 — то есть шесть-десять плиток, и весь этот объём должен попасть именно в неё, а не разойтись по соседям. В смешанной стойке это сложнее, чем в однородной: у оборудования разных вендоров разная глубина, разные вентиляторы и разные требования к зазорам.

Корисно зіставити потрібне повітря з тим, що дає наявна система. Перфорована плитка фальшпідлоги пропускає зазвичай від 300 до 600 кубічних футів на хвилину. Стійка на 21 kW потребує близько 3300 — тобто шість-десять плиток, і весь цей обсяг має потрапити саме в неї, а не розійтися по сусідах. У змішаній стійці це складніше, ніж в однорідній: в обладнання різних вендорів різна глибина, різні вентилятори і різні вимоги до зазорів.

It helps to compare the air required with what the existing system delivers. A perforated raised-floor tile usually passes 300 to 600 cubic feet per minute. A 21 kW rack needs about 3300 — six to ten tiles — and all of that volume has to reach that rack rather than disperse among its neighbours. In a mixed rack this is harder than in a uniform one: equipment from different vendors has different depths, different fans and different clearance requirements.

Отдельно про направление продува. Серверы почти всегда дуют спереди назад, а коммутаторы выпускаются в двух исполнениях, и в смешанную стойку легко поставить устройство, которое забирает воздух из горячей зоны. В однородной стойке этот вопрос не возникает, в смешанной его надо проверять по каждой позиции — особенно если оборудование приехало из разных поставок с разницей в несколько лет.

Окремо про напрямок продування. Сервери майже завжди дмуть спереду назад, а комутатори випускаються у двох виконаннях, і в змішану стійку легко поставити пристрій, який забирає повітря з гарячої зони. В однорідній стійці це питання не виникає, у змішаній його треба перевіряти за кожною позицією — особливо якщо обладнання приїхало з різних поставок із різницею в кілька років.

A separate word on airflow direction. Servers almost always blow front to back, whereas switches come in two variants, and in a mixed rack it is easy to install a device that draws its air from the hot side. In a uniform rack the question does not arise; in a mixed one it has to be checked for every position — especially where the equipment arrived in different deliveries several years apart.

07

ЗамерЗамірThe measurement

Когда дело не в киловаттах

Коли справа не в кіловатах

When it is not about kilowatts

Случай, где очевидное объяснение оказалось неверным, и это выяснилось только повторным замером.

Випадок, де очевидне пояснення виявилося невірним, і це з’ясувалося лише повторним заміром.

A case where the obvious explanation proved wrong, and only a second measurement revealed it.

Последний разбор — про случай, где я оказался неправ, и это полезнее всего остального.

Останній розбір — про випадок, де я виявився неправий, і це корисніше за все інше.

The last case is one where I turned out to be wrong, and that is more useful than everything else here.

Четыре сервера баз данных, самая скромная позиция во всём парке: 48 ядер, около 470 W, корпус 1U. При проверке показали температуру процессора 78 и 85 градусов при верхней границе нормальной работы 92 и критической 100, а сетевой карты — 86 и 90 при пороге 95. То есть пять градусов запаса у карты, о которой в таких разборах обычно не вспоминают вовсе.

Чотири сервери баз даних, найскромніша позиція в усьому парку: 48 ядер, близько 470 W, корпус 1U. При перевірці показали температуру процесора 78 і 85 градусів за верхньої межі нормальної роботи 92 і критичної 100, а мережевої карти — 86 і 90 за порогу 95. Тобто п’ять градусів запасу в карти, про яку в таких розборах зазвичай не згадують зовсім.

Four database servers, the humblest items in the whole estate: 48 cores, about 470 W, 1U chassis. On inspection they showed processor temperatures of 78 and 85 degrees against a normal ceiling of 92 and a critical point of 100, and network card temperatures of 86 and 90 against a threshold of 95. That is five degrees of margin on a card that such investigations usually ignore entirely.

Логика напрашивалась простая: серверы стояли в верхней части стойки, где приток холодного воздуха хуже. Переставили вниз, сняли замер повторно. Температура процессора — 77 градусов вместо 78. Накопители на три градуса холоднее. Сетевая карта — ровно 90, как и была.

Логіка напрошувалася проста: сервери стояли у верхній частині стійки, де приплив холодного повітря гірший. Переставили вниз, зняли замір повторно. Температура процесора — 77 градусів замість 78. Накопичувачі на три градуси холодніші. Мережева карта — рівно 90, як і була.

The obvious reasoning was simple: the servers sat high in the rack, where the cold air supply is poorer. We moved them down and measured again. Processor temperature: 77 degrees instead of 78. The drives three degrees cooler. The network card: exactly 90, just as before.

Более того, на обеих переставленных машинах все четыре порта сетевых карт показали ровно 90,0. Не 89 и не 91. При разном воздухе и разной нагрузке так не бывает: разброс был бы хотя бы в пару градусов. Это поведение не датчика, упёршегося в среду, а регулятора, удерживающего заданную точку. Система управления охлаждением считает 90 градусов приемлемыми, потому что порог 95, и не раскручивает вентиляторы сильнее.

Ба більше, на обох переставлених машинах усі чотири порти мережевих карт показали рівно 90,0. Не 89 і не 91. За різного повітря і різного навантаження так не буває: розкид був би хоча б у пару градусів. Це поведінка не датчика, що вперся в середовище, а регулятора, який утримує задану точку. Система управління охолодженням вважає 90 градусів прийнятними, бо поріг 95, і не розкручує вентилятори сильніше.

More than that: on both relocated machines all four network card ports read exactly 90.0. Not 89, not 91. With different air and different load that does not happen: there would be at least a couple of degrees of spread. This is not the behaviour of a sensor pinned by its environment but of a controller holding a setpoint. The cooling management system considers 90 degrees acceptable, because the threshold is 95, and does not spin the fans up any further.

Заодно объясняется, почему перестановка не помогла. Регулятор скомпенсировал более холодный воздух, снизив обороты, и вернул температуру на ту же уставку. Условия изменились, рабочая точка осталась.

Заодно пояснюється, чому перестановка не допомогла. Регулятор скомпенсував холодніше повітря, знизивши оберти, і повернув температуру на ту саму уставку. Умови змінилися, робоча точка залишилася.

That also explains why moving them did not help. The controller compensated for the colder air by slowing the fans, and brought the temperature back to the same setpoint. The conditions changed; the operating point did not.

Что из этого следует практически. Если температура не меняется при изменении условий, искать надо в настройках, а не в зале: профиль охлаждения в прошивке, обороты вентиляторов, пороги в системе управления. И отдельно — в конфигурации. В этих серверах стоят стандартные радиаторы и стандартные вентиляторы, тогда как в других наших проектах на сопоставимых процессорах везде выбраны производительные. Это две строки в конфигураторе, которые выглядят необязательной опцией и стоят на фоне сервера незаметно.

Що з цього випливає практично. Якщо температура не змінюється при зміні умов, шукати треба в налаштуваннях, а не в залі: профіль охолодження у прошивці, оберти вентиляторів, пороги в системі управління. І окремо — у конфігурації. У цих серверах стоять стандартні радіатори і стандартні вентилятори, тоді як в інших наших проєктах на співставних процесорах скрізь обрані продуктивні. Це два рядки в конфігураторі, які виглядають необов’язковою опцією і коштують на тлі сервера непомітно.

The practical lesson. If the temperature does not change when the conditions do, look in the settings rather than in the room: the cooling profile in the firmware, the fan speeds, the thresholds in the management system. And separately, in the configuration. These servers have standard heatsinks and standard fans, whereas in our other projects with comparable processors the high-performance variants were chosen everywhere. Those are two lines in the configurator that look like an optional extra and cost next to nothing against the price of the server.

И ещё одна деталь, которую видно в тех же замерах. Второй процессор на обеих машинах холоднее первого на 9–15 градусов. Это не продув, такой разрыв продувом не объясняется. Это нагрузка, сидящая преимущественно на одном узле распределения памяти: половина машины работает под порогом, вторая половина прохлаждается. Температура здесь оказалась индикатором проблемы, к охлаждению отношения не имеющей.

І ще одна деталь, яку видно в тих самих замірах. Другий процесор на обох машинах холодніший за перший на 9–15 градусів. Це не продування, такий розрив продуванням не пояснюється. Це навантаження, що сидить переважно на одному вузлі розподілу пам’яті: половина машини працює під порогом, друга половина прохолоджується. Температура тут виявилася індикатором проблеми, що до охолодження стосунку не має.

And one more detail visible in the same measurements. The second processor on both machines is 9–15 degrees cooler than the first. That is not airflow; a gap like that cannot be explained by airflow. It is a workload sitting mostly on one memory node: half the machine runs near its threshold while the other half idles cool. Here the temperature turned out to be an indicator of a problem that had nothing to do with cooling.

Добавлю то, что обычно остаётся за кадром: конфигурации серверов собираются с параметром «среда ЦОД 25 градусов». Это не пожелание, а условие, при котором заявленное охлаждение работает. Если на входе в стойку теплее, запас израсходован ещё до первого включения, и никакая перестановка внутри стойки этого не вернёт.

Додам те, що зазвичай залишається за кадром: конфігурації серверів збираються з параметром «середовище ЦОД 25 градусів». Це не побажання, а умова, за якої заявлене охолодження працює. Якщо на вході у стійку тепліше, запас витрачений ще до першого ввімкнення, і жодна перестановка всередині стійки цього не поверне.

Let me add something usually left out of frame: server configurations are built around a “25-degree data-centre environment” parameter. That is not a wish but the condition under which the stated cooling works. If the air entering the rack is warmer, the margin is spent before the first power-on, and no rearrangement inside the rack will bring it back.

08

КритерийКритерійThe criterion

Когда выводить старое

Коли виводити старе

When to retire the old

К поломке, окончанию поддержки и нехватке производительности стоит добавить четвёртый повод.

До поломки, закінчення підтримки і браку продуктивності варто додати четвертий привід.

To breakage, end of support and lack of performance it is worth adding a fourth reason.

Возвращаюсь к тому, с чего начал, — к слоям.

Повертаюся до того, з чого почав, — до шарів.

Back to where I started: the layers.

Старую группу узлов с первой площадки нельзя расширять: лицензии прежнего типа. Она занимает 31 юнит на двух площадках, потребляет 15,4 kW и несёт некритичные и тестовые задачи при загрузке процессоров около 40%. За год это примерно 135 000 kWh только на оборудование и около 215 000 с учётом охлаждения.

Стару групу вузлів із першого майданчика не можна розширювати: ліцензії колишнього типу. Вона займає 31 юніт на двох майданчиках, споживає 15,4 kW і несе некритичні й тестові задачі за завантаження процесорів близько 40%. За рік це приблизно 135 000 kWh лише на обладнання і близько 215 000 з урахуванням охолодження.

The old node group on the first site cannot be expanded: the licences are of the former type. It occupies 31 rack units across two sites, draws 15.4 kW and carries non-critical and test workloads at around 40% processor utilisation. Over a year that is roughly 135,000 kWh for the equipment alone and about 215,000 with cooling included.

Решение оставить её в роли эластичного резерва разумное: железо куплено, работает, задачи для него есть. Но теперь у этого решения появилась цена, и она измерима. Пятнадцать киловатт — это больше, чем занимает весь новый кластер на одной из площадок.

Рішення залишити її в ролі еластичного резерву розумне: залізо куплене, працює, задачі для нього є. Але тепер у цього рішення з’явилася ціна, і вона вимірювана. П’ятнадцять кіловат — це більше, ніж займає весь новий кластер на одному з майданчиків.

The decision to keep it as elastic spare capacity is sound: the hardware is bought, it works, and there is work for it. But now that decision has a price, and the price is measurable. Fifteen kilowatts is more than the entire new cluster takes on one of the sites.

Отсюда критерий, которого обычно нет в обсуждении вывода оборудования из эксплуатации. Старое железо выводят, когда оно ломается, когда кончается поддержка или когда не хватает производительности. Предлагаю добавить четвёртый повод: когда занимаемые им киловатты нужнее, чем выполняемая им работа. В зале, где подвод ограничен, каждый старый узел занимает место, на которое не встанет новый. И считать это надо не в юнитах, а в киловаттах и в токе на фазу.

Звідси критерій, якого зазвичай немає в обговоренні виведення обладнання з експлуатації. Старе залізо виводять, коли воно ламається, коли закінчується підтримка або коли бракує продуктивності. Пропоную додати четвертий привід: коли зайняті ним кіловати потрібніші, ніж виконувана ним робота. У залі, де підведення обмежене, кожен старий вузол займає місце, на яке не стане новий. І рахувати це треба не в юнітах, а в кіловатах і в струмі на фазу.

Hence a criterion usually absent from discussions about retiring equipment. Old hardware is retired when it breaks, when support ends or when it is not fast enough. I suggest adding a fourth reason: when the kilowatts it occupies are needed more than the work it does. In a room with a limited supply, every old node occupies space that a new one cannot take. And that has to be counted not in rack units but in kilowatts and in current per phase.

09

Чек-листЧек-листChecklist

Что проверить на своей площадке

Що перевірити на своєму майданчику

What to check on your own site

Десять действий, для которых не нужны ни аудит, ни приборы.

Десять дій, для яких не потрібні ні аудит, ні прилади.

Ten things to do that need neither an audit nor instruments.

1. Сложить потребление всего, что стоит в стойке, включая коммутаторы, массивы и всё, что приехало из чужих поставок. Не по слоям, а целиком.
2. Посчитать ток на фазу для каждой стойки и сравнить с номиналом ввода — для смешанных стоек это чаще всего узкое место.
3. Разложить потребление по возрасту оборудования и посмотреть, какой слой самый дорогой. Обычно это не самый старый и не самый новый.
4. Посчитать долю сетевого оборудования отдельно. Если она больше десятой части — стоит посмотреть, что там стоит и сколько ему лет.
5. Проверить пороги по температуре в системе мониторинга и привести их к значениям, которые сообщают сами процессоры конкретной модели. Заодно посмотреть остальные пороги: те, что срабатывают всегда, не означают ничего.
6. Посмотреть, стоят ли плотные узлы сплошной колонной, и по возможности развести их просветами с заглушками.
7. Проверить направление продува у каждого несерверного устройства в стойке.
8. Снять температуры с работающих машин, включая сетевые карты, память и накопители, а не только процессоры.
9. Инженерные комплексы считать отдельной единицей планирования, а требования к подводу взять из документации производителя по планированию площадки.
10. Для каждого старого узла ответить на вопрос, что важнее — работа, которую он делает, или киловатты и юниты, которые он занимает.

1. Скласти споживання всього, що стоїть у стійці, включно з комутаторами, масивами і всім, що приїхало з чужих поставок. Не за шарами, а цілком.
2. Порахувати струм на фазу для кожної стійки і порівняти з номіналом вводу — для змішаних стійок це найчастіше вузьке місце.
3. Розкласти споживання за віком обладнання і подивитися, який шар найдорожчий. Зазвичай це не найстаріший і не найновіший.
4. Порахувати частку мережевого обладнання окремо. Якщо вона більша за десяту частину — варто подивитися, що там стоїть і скільки йому років.
5. Перевірити пороги за температурою в системі моніторингу і привести їх до значень, які повідомляють самі процесори конкретної моделі. Заодно подивитися решту порогів: ті, що спрацьовують завжди, не означають нічого.
6. Подивитися, чи стоять щільні вузли суцільною колоною, і за можливості розвести їх просвітами із заглушками.
7. Перевірити напрямок продування в кожного несерверного пристрою у стійці.
8. Зняти температури з працюючих машин, включно з мережевими картами, пам’яттю і накопичувачами, а не лише процесорами.
9. Інженерні комплекси рахувати окремою одиницею планування, а вимоги до підведення взяти з документації виробника з планування майданчика.
10. Для кожного старого вузла відповісти на питання, що важливіше — робота, яку він робить, чи кіловати та юніти, які він займає.

1. Add up the draw of everything in the rack, including switches, arrays and anything that arrived in somebody else’s delivery. Not layer by layer, but all of it.
2. Work out the current per phase for every rack and compare it with the feed rating — for mixed racks this is usually the bottleneck.
3. Break the draw down by equipment age and see which layer is the most expensive. Usually it is neither the oldest nor the newest.
4. Count the networking share separately. If it is more than a tenth, it is worth looking at what is installed there and how old it is.
5. Check the temperature thresholds in the monitoring system and bring them in line with what the processors of that specific model report. While you are there, look at the other thresholds too: the ones that always fire mean nothing.
6. See whether dense nodes are stacked in a solid column and, where possible, separate them with blanked-off gaps.
7. Check the airflow direction of every non-server device in the rack.
8. Take temperatures from the running machines, including network cards, memory and drives, not just the processors.
9. Count engineered appliances as a planning unit of their own, and take their power requirements from the manufacturer’s site-planning documentation.
10. For every old node, answer the question of which matters more — the work it does, or the kilowatts and rack units it occupies.

10

ИтогПідсумокWrap-up

Вместо вывода

Замість висновку

In place of a conclusion

Парк никогда не покупают целиком. Его докупают: по одной закупке, по одному обоснованию, каждый раз глядя на свободные юниты и почти никогда — на общий ток по фазе. Через несколько лет получается стойка, которую никто не проектировал, и её характеристики не описаны ни в одном документе, потому что каждый документ описывал свой слой.

Парк ніколи не купують цілком. Його докуповують: по одній закупівлі, по одному обґрунтуванню, щоразу дивлячись на вільні юніти і майже ніколи — на загальний струм по фазі. Через кілька років виходить стійка, яку ніхто не проєктував, і її характеристики не описані в жодному документі, бо кожен документ описував свій шар.

An estate is never bought whole. It is added to: one purchase at a time, one justification at a time, each time looking at the free rack units and almost never at the total current per phase. A few years on you have a rack nobody designed, whose characteristics appear in no document, because each document described its own layer.

Хорошая новость в том, что сложить слои может кто угодно: для этого не нужен ни аудит, ни приборы, достаточно состава оборудования и калькулятора. Плохая — что сумма обычно оказывается больше, чем ожидают, и обнаруживается это в момент, когда надо поставить ещё один сервер.

Хороша новина в тому, що скласти шари може будь-хто: для цього не потрібен ні аудит, ні прилади, достатньо складу обладнання і калькулятора. Погана — що сума зазвичай виявляється більшою, ніж очікують, і виявляється це в момент, коли треба поставити ще один сервер.

The good news is that anybody can add the layers up: it needs neither an audit nor instruments, just the equipment list and a calculator. The bad news is that the total is usually larger than expected, and it is discovered at the moment somebody needs to install one more server.