01

ВходВхідThe entry point

Что решается в день закупки

Що вирішується в день закупівлі

What is decided on purchase day

Срок поддержки и состав первой поставки принимаются за один день и определяют следующие три-шесть лет.

Строк підтримки і склад першої поставки ухвалюються за один день і визначають наступні три-шість років.

The support term and the first delivery’s composition are settled in a day and determine the next three to six years.

Первое решение — срок поддержки. Практический ответ: базовый контракт на три года и заранее понятная опция продления ещё на три. Не пять и не «сколько дадут», а три плюс три, потому что это две разные точки принятия решения и разносить их полезно.

Перше рішення — строк підтримки. Практична відповідь: базовий контракт на три роки і заздалегідь зрозуміла опція продовження ще на три. Не п’ять і не «скільки дадуть», а три плюс три, бо це дві різні точки ухвалення рішення і розносити їх корисно.

The first decision is the support term. The practical answer: a three-year base contract and a pre-agreed option to extend by another three. Not five, and not “however much they offer”, but three plus three — because those are two separate decision points and keeping them apart is useful.

Разница между «взять сразу пять» и «три плюс три» не в деньгах, а в информации. Через три года вы знаете про этот комплекс всё: как он себя ведёт, что в нём ломалось, растёт ли на нём нагрузка, жив ли ещё прикладной софт, ради которого его покупали. Решение о продлении принимается на фактах. Решение о пятилетнем контракте на входе принимается на прогнозе, а прогноз на пять лет в инфраструктуре — это пожелание.

Різниця між «взяти одразу п’ять» і «три плюс три» не в грошах, а в інформації. Через три роки ви знаєте про цей комплекс усе: як він поводиться, що в ньому ламалося, чи росте на ньому навантаження, чи живий ще прикладний софт, заради якого його купували. Рішення про продовження ухвалюється на фактах. Рішення про п’ятирічний контракт на вході ухвалюється на прогнозі, а прогноз на п’ять років в інфраструктурі — це побажання.

The difference between “take five at once” and “three plus three” is not money but information. In three years you know everything about this system: how it behaves, what has broken in it, whether load on it is growing, whether the application software it was bought for is still alive. The renewal decision is made on facts. A five-year contract signed at the start is made on a forecast, and a five-year forecast in infrastructure is a wish.

Важная деталь, о которой я писал в первом выпуске и повторю: гарантия тикает с момента поставки, а не с момента ввода в эксплуатацию. Если оборудование месяц лежит на складе, потом три месяца идёт пусконаладка и приёмка, вы уже потратили треть года.

Важлива деталь, про яку я писав у першому випуску і повторю: гарантія тікає з моменту постачання, а не з моменту введення в експлуатацію. Якщо обладнання місяць лежить на складі, потім три місяці триває пусконалагодження і приймання, ви вже витратили третину року.

An important detail I wrote about in the first issue and will repeat: the warranty clock starts at delivery, not at commissioning. If the equipment sits in a warehouse for a month and then spends three months in commissioning and acceptance, you have already spent a third of a year.

И это ещё мягкий случай. Я регулярно вижу другой: оборудование приехало, встало на склад и пролежало там год, два, а иногда и три — проект отложили, помещение не готово, прикладная часть не поспела, ответственный сменился. Всё это время железо не работает, но стареет по всем статьям сразу. Гарантия расходуется, поколение сменяется, а на момент реального включения комплекс уже не новый: он на год-два ближе ко второму возрасту, чем считает бухгалтерия. Плюс аккумуляторы и суперконденсаторы, которые разряжаются на полке, и прошивки, отставшие на несколько версий. Если между поставкой и вводом ожидается пауза, это надо проговаривать на этапе закупки: сдвигать начало поддержки, а не обнаруживать потерю потом.

І це ще м’який випадок. Я регулярно бачу інший: обладнання приїхало, стало на склад і пролежало там рік, два, а іноді й три — проєкт відклали, приміщення не готове, прикладна частина не встигла, відповідальний змінився. Увесь цей час залізо не працює, але старіє за всіма статтями одразу. Гарантія витрачається, покоління змінюється, а на момент реального ввімкнення комплекс уже не новий: він на рік-два ближчий до другого віку, ніж вважає бухгалтерія. Плюс акумулятори і суперконденсатори, які розряджаються на полиці, і прошивки, що відстали на кілька версій. Якщо між постачанням і введенням очікується пауза, це треба проговорювати на етапі закупівлі: зсувати початок підтримки, а не виявляти втрату потім.

And that is the mild case. I regularly see another one: the equipment arrives, goes into a warehouse and stays there for a year, two, sometimes three — the project was postponed, the room is not ready, the application side is late, the responsible person changed. All that time the hardware is not working but is ageing on every count at once. Warranty is burning, the generation moves on, and by the time it is actually powered up the system is no longer new: it is a year or two closer to its second age than the accounts believe. Add batteries and supercapacitors discharging on the shelf, and firmware several versions behind. If a pause between delivery and commissioning is expected, it has to be raised at procurement time — shift the support start date rather than discovering the loss later.

Второе решение того же дня — состав первой поставки. Здесь работает простое правило: процессор и память ставятся целевые сразу, диски можно добирать потом.

Друге рішення того самого дня — склад першої поставки. Тут працює просте правило: процесор і пам’ять ставляться цільові одразу, диски можна добирати потім.

The second decision of the same day is what goes into the first delivery. A simple rule applies here: put in the target CPU and memory from the start; disks can be added later.

Причина не в цене, а в сроках жизни компонентов. Процессор в большинстве платформ меняется только вместе с материнской платой или в рамках жёсткой матрицы совместимости поколения — то есть апгрейд через два года это не апгрейд, а пересборка. Память формально добавляется, но упирается в конфигурацию каналов: доставленные планки должны совпасть с установленными по типу, объёму и ранговости, иначе система либо не соберёт конфигурацию, либо соберёт её с потерей пропускной способности. Диски в этом смысле самые дружелюбные — их добавляют полками и группами, без остановки сервиса.

Причина не в ціні, а в строках життя компонентів. Процесор у більшості платформ змінюється лише разом із материнською платою або в межах жорсткої матриці сумісності покоління — тобто апгрейд через два роки це не апгрейд, а перезбирання. Пам’ять формально додається, але впирається в конфігурацію каналів: доставлені планки мають збігтися зі встановленими за типом, обсягом і ранговістю, інакше система або не збере конфігурацію, або збере її з втратою пропускної здатності. Диски в цьому сенсі найдружніші — їх додають полицями і групами, без зупинки сервісу.

The reason is not price but component lifespans. In most platforms the CPU changes only together with the motherboard, or within a rigid generational compatibility matrix — meaning an upgrade in two years is not an upgrade but a rebuild. Memory can formally be added, but runs into channel configuration: the added modules must match the installed ones in type, size and rank, or the system either will not assemble the configuration or will assemble it with a loss of bandwidth. Disks are the friendliest of the three — they are added by shelves and groups, without a service outage.

И сразу оговорка, которая за последние пару лет стала важнее самой рекомендации. Циклы у вендоров сократились. Компонент, который вы планировали докупить через два года, к тому моменту может быть снят с производства, заменён на модель другой ёмкости или переведён в другую линейку. Тогда расширение превращается в смешанную конфигурацию с двумя типами накопителей, разной производительностью и раздельными пулами.

І одразу застереження, яке за останні пару років стало важливішим за саму рекомендацію. Цикли у вендорів скоротилися. Компонент, який ви планували докупити через два роки, до того моменту може бути знятий з виробництва, замінений на модель іншої ємності або переведений в іншу лінійку. Тоді розширення перетворюється на змішану конфігурацію з двома типами накопичувачів, різною продуктивністю і роздільними пулами.

And immediately a caveat that has become more important than the recommendation itself over the last couple of years. Vendor cycles have shortened. The component you planned to add in two years may by then be discontinued, replaced by a model of a different capacity, or moved into another product line. The expansion then turns into a mixed configuration with two drive types, different performance and separate pools.

Практический вывод: если расширение точно понадобится, фиксируйте не только модель, но и возможность её докупить — письменно, с горизонтом. Если ответ вендора расплывчатый, значит планировать надо от одной поставки.

Практичний висновок: якщо розширення точно знадобиться, фіксуйте не лише модель, а й можливість її докупити — письмово, з горизонтом. Якщо відповідь вендора розпливчаста, значить планувати треба від однієї поставки.

The practical takeaway: if an expansion is certain to be needed, fix in writing not just the model but the ability to buy more of it, with a stated horizon. If the vendor’s answer is vague, plan for a single delivery.

02

Три плюс триТри плюс триThree plus three

Постгарантия: продлевать или отпускать

Постгарантія: продовжувати чи відпускати

Post-warranty: renew or let go

На третьем году решается не судьба оборудования, а то, кто платит за отказ следующие три года.

На третьому році вирішується не доля обладнання, а те, хто платить за відмову наступні три роки.

Year three decides not the fate of the equipment but who pays for a failure over the next three years.

Самое распространённое заблуждение про постгарантийную поддержку — что это отсрочка неизбежного. «Продлим ещё на годик, а там посмотрим». Годик — плохая единица: административная процедура закупки съедает месяцы, и на следующий год всё повторяется.

Найпоширеніша хибна думка про постгарантійну підтримку — що це відстрочка неминучого. «Продовжимо ще на рік, а там подивимося». Рік — погана одиниця: адміністративна процедура закупівлі з’їдає місяці, і наступного року все повторюється.

The most common misconception about post-warranty support is that it merely postpones the inevitable. “Let’s extend for another year and see.” A year is a poor unit: the administrative procurement process eats months, and next year it all repeats.

Работающая схема другая: после базовых трёх лет берётся ещё один полноценный вендорский цикл на три года. Парк осознанно живёт под контрактом до шести лет, и вопрос «содержать или списывать» встаёт не на третьем году, а на шестом — когда оборудование действительно к этому подошло.

Робоча схема інша: після базових трьох років береться ще один повноцінний вендорський цикл на три роки. Парк свідомо живе під контрактом до шести років, і питання «утримувати чи списувати» постає не на третьому році, а на шостому — коли обладнання справді до цього підійшло.

The scheme that works is different: after the base three years you take another full three-year vendor cycle. The estate deliberately lives under contract for up to six years, and the “keep or decommission” question comes up not in year three but in year six — when the equipment has genuinely reached that point.

Что реально покупается вместе с контрактом, помимо замены сломавшихся деталей.

Що реально купується разом із контрактом, окрім заміни зламаних деталей.

What you actually buy along with a contract, beyond replacement of failed parts.

Доступ к обновлениям

Доступ до оновлень

Access to updates

Это то, о чём вспоминают последним, а бьёт оно первым. С окончанием поддержки закрывается доступ к прошивкам, микрокоду и исправлениям. Оборудование продолжает работать, но остаётся на той версии, которая была на момент окончания контракта, — со всеми известными дефектами и уязвимостями. Для комплекса, попадающего под требования регулятора, это самостоятельная проблема, отдельная от надёжности железа.

Це те, про що згадують останнім, а б’є воно першим. Із закінченням підтримки закривається доступ до прошивок, мікрокоду і виправлень. Обладнання продовжує працювати, але лишається на тій версії, яка була на момент закінчення контракту, — з усіма відомими дефектами і вразливостями. Для комплексу, що підпадає під вимоги регулятора, це самостійна проблема, окрема від надійності заліза.

This is remembered last and hits first. When support ends, access to firmware, microcode and fixes closes. The equipment keeps running but stays on whatever version it was on when the contract ended — with all known defects and vulnerabilities. For a system that falls under regulatory requirements, that is a problem in its own right, separate from hardware reliability.

Право на эскалацию

Право на ескалацію

The right to escalate

Пока контракт жив, у вас есть процедура: обращение, приоритет, срок реакции. После окончания вы можете купить разовое обслуживание по факту, и цена там другая, а срок — какой получится.

Поки контракт живий, у вас є процедура: звернення, пріоритет, строк реакції. Після закінчення ви можете купити разове обслуговування за фактом, і ціна там інша, а строк — який вийде.

While the contract is alive you have a process: a ticket, a priority, a response target. Once it ends you can buy one-off service after the fact, at a different price and on whatever timeline happens.

Известная цена

Відома ціна

A known price

Продление стоит порядка 10–15% от стоимости нового аналогичного оборудования в год. Это, пожалуй, единственная цифра во всём выпуске, которую стоит запомнить наизусть, потому что вокруг неё считается всё остальное. Три года продления — это уже треть-половина цены замены. Разговор о том, стоит ли содержать шестилетний комплекс, начинается ровно здесь и продолжается в разделе восьмом.

Продовження коштує близько 10–15% від вартості нового аналогічного обладнання на рік. Це, мабуть, єдина цифра в усьому випуску, яку варто запам’ятати напам’ять, бо навколо неї рахується все інше. Три роки продовження — це вже третина-половина ціни заміни. Розмова про те, чи варто утримувати шестирічний комплекс, починається саме тут і продовжується в розділі восьмому.

Renewal costs on the order of 10–15% of the price of new equivalent equipment per year. That is probably the one number in this whole issue worth memorising, because everything else is calculated around it. Three years of renewal is already a third to a half of the replacement price. The conversation about whether a six-year-old system is worth keeping starts exactly here and continues in section eight.

Отдельно скажу, чего в этой схеме нет. Нет варианта «поживём без поддержки, а если сломается — купим запчасть». Он существует как факт, но не как решение: сроки поставки на постгарантийное оборудование измеряются неделями, и всё это время критичность системы, которая на нём стоит, никуда не девается.

Окремо скажу, чого в цій схемі немає. Немає варіанту «поживемо без підтримки, а якщо зламається — купимо запчастину». Він існує як факт, але не як рішення: строки постачання на постгарантійне обладнання вимірюються тижнями, і весь цей час критичність системи, яка на ньому стоїть, нікуди не дівається.

Let me say separately what this scheme does not include. There is no option of “we will live without support and buy a part if something breaks”. It exists as a fact but not as a decision: lead times for post-warranty equipment are measured in weeks, and throughout those weeks the criticality of the system running on it does not go anywhere.

03

Запас частейЗапас частинSpare parts

Нужен ли ЗИП при действующей поддержке

Чи потрібен ЗІП за чинної підтримки

Do you need spares while support is live

Ответ — да. И объём его с годами растёт, причём растёт номенклатура, а не количество.

Відповідь — так. І обсяг його з роками зростає, причому зростає номенклатура, а не кількість.

The answer is yes. And it grows over the years — the list grows, not the quantities.

Начну с вопроса, который мне задают чаще остальных: зачем держать склад запчастей, если куплен контракт с гарантированным сроком реакции.

Почну з питання, яке мені ставлять найчастіше: навіщо тримати склад запчастин, якщо куплений контракт із гарантованим строком реакції.

Let me start with the question I am asked most often: why keep a stock of spares if you have bought a contract with a guaranteed response time.

Затем, что срок реакции в договоре и срок появления детали на площадке — разные величины. Локального склада запасных частей у производителей в стране, как правило, нет. Деталь везётся из регионального хаба, проходит таможенное оформление, а до отгрузки — внутренние процедуры поставщика по проверке получателя и назначения. Каждый из этих шагов сам по себе законный и предсказуемый, а вместе они добавляют к сроку недели поверх того, что написано в контракте. По моему опыту, реальная доставка в Ташкент занимает от пяти до пятнадцати дней, и это в спокойном случае.

Затим, що строк реакції в договорі і строк появи деталі на майданчику — різні величини. Локального складу запасних частин у виробників у країні, як правило, немає. Деталь везеться з регіонального хаба, проходить митне оформлення, а до відвантаження — внутрішні процедури постачальника з перевірки отримувача і призначення. Кожен із цих кроків сам по собі законний і передбачуваний, а разом вони додають до строку тижні понад те, що написано в контракті. За моїм досвідом, реальна доставка до Ташкента займає від п’яти до п’ятнадцяти днів, і це у спокійному випадку.

Because the response time in the contract and the time a part appears on site are different quantities. Manufacturers generally have no local spares depot in the country. The part travels from a regional hub, clears customs, and before shipment goes through the supplier’s internal checks on recipient and destination. Each of those steps is lawful and predictable on its own, but together they add weeks on top of what the contract says. In my experience real delivery to Tashkent takes five to fifteen days, and that is in the calm case.

Пример, про который я уже писал во втором выпуске: в модульной ленточной библиотеке встал робот. Сама процедура замены занимала день. Ожидание узла — полтора месяца, и все эти полтора месяца вторая копия просто не создавалась. Контракт при этом был.

Приклад, про який я вже писав у другому випуску: у модульній стрічковій бібліотеці став робот. Сама процедура заміни займала день. Очікування вузла — півтора місяця, і всі ці півтора місяця друга копія просто не створювалася. Контракт при цьому був.

An example I have already written about in the second issue: the robot in a modular tape library failed. The replacement procedure itself took a day. Waiting for the assembly took six weeks, and for all six weeks the second copy simply was not being created. There was a contract in place.

Поэтому ЗИП не альтернатива поддержке, а её дополнение. Контракт закрывает деньги и гарантию, склад закрывает время.

Тому ЗІП не альтернатива підтримці, а її доповнення. Контракт закриває гроші й гарантію, склад закриває час.

So spares are not an alternative to support but a complement to it. The contract covers money and warranty; the shelf covers time.

Контракт закрывает деньги и гарантию, склад закрывает время.

Контракт закриває гроші й гарантію, склад закриває час.

The contract covers money and warranty; the shelf covers time.

Что кладём

Що кладемо

What goes on the shelf

Разумно делить запас на два уровня. Первый уровень — изнашиваемое. То, отказ чего на горизонте года вероятен, а не гипотетичен. Накопители, блоки питания, вентиляторные модули, суперконденсаторы контроллеров, батарейки материнских плат, планки памяти. Рабочая норма по накопителям — 3–5% от установленной популяции с округлением вверх и минимумом в две штуки. На комплексе с семьюдесятью двумя дисками это четыре диска, и это не перестраховка, а статистика для парка такого возраста.

Розумно ділити запас на два рівні. Перший рівень — зношуване. Те, відмова чого на горизонті року ймовірна, а не гіпотетична. Накопичувачі, блоки живлення, вентиляторні модулі, суперконденсатори контролерів, батарейки материнських плат, планки пам’яті. Робоча норма щодо накопичувачів — 3–5% від встановленої популяції з округленням угору і мінімумом у дві штуки. На комплексі із сімдесятьма двома дисками це чотири диски, і це не перестраховка, а статистика для парку такого віку.

It makes sense to split the stock into two levels. The first level is wear parts — things whose failure within a year is probable rather than hypothetical. Drives, power supplies, fan modules, controller supercapacitors, board batteries, memory DIMMs. The working rule of thumb for drives is 3–5% of the installed population, rounded up, with a minimum of two. On a system with seventy-two disks that is four drives, and it is not over-insurance but statistics for an estate of that age.

Второй уровень — активные компоненты. Контроллеры, адаптеры, трансиверы, бекплейны и переходные платы. При живом контракте эти позиции избыточны. Без контракта — это то, что определяет, встанет ли узел на неделю.

Другий рівень — активні компоненти. Контролери, адаптери, трансивери, бекплейни і перехідні плати. За живого контракту ці позиції надмірні. Без контракту — це те, що визначає, чи стане вузол на тиждень.

The second level is active components. Controllers, adapters, transceivers, backplanes and interposers. While the contract is live these are redundant. Without a contract they decide whether a node is down for a week.

Отдельной строкой идут системные платы. Их в запас обычно не кладут из-за цены, и это нормальное решение — но оно должно быть принято осознанно и записано, потому что его цена известна заранее: отсутствие платы означает потерю узла целиком до поставки.

Окремим рядком ідуть системні плати. Їх у запас зазвичай не кладуть через ціну, і це нормальне рішення — але воно має бути ухвалене свідомо і записане, бо його ціна відома заздалегідь: відсутність плати означає втрату вузла цілком до постачання.

System boards are a separate line. They are usually left out of stock on price, and that is a reasonable decision — but it has to be taken deliberately and written down, because its cost is known in advance: no board means losing the whole node until delivery.

Четыре детали, на которых спотыкаются

Чотири деталі, на яких спотикаються

Four details people trip over

Запчасти только специфичные для платформы. Программно-аппаратный комплекс собран на серийной серверной платформе, но использует собственные компоненты с собственной прошивкой. Накопитель от обычного сервера той же модели в такой комплекс не встанет — система его не примет. Заказывать нужно строго по перечню компонентов для конкретного изделия, а не по названию платформы.

Запчастини лише специфічні для платформи. Програмно-апаратний комплекс зібраний на серійній серверній платформі, але використовує власні компоненти з власною прошивкою. Накопичувач від звичайного сервера тієї самої моделі в такий комплекс не стане — система його не прийме. Замовляти потрібно строго за переліком компонентів для конкретного виробу, а не за назвою платформи.

Only platform-specific parts. An engineered appliance is built on a mainstream server platform but uses its own components with its own firmware. A drive from an ordinary server of the same model will not go into such a system — it will not be accepted. Ordering must follow the component list for the specific product, not the platform name.

Вариант исполнения по шифрованию. У части накопителей есть отдельные позиции без аппаратного шифрования — они существуют именно для ввоза в страны, где на криптосредства действуют ограничения. Заказывать нужно тот вариант, который уже установлен: иначе получится дисковая группа из накопителей разного исполнения, и это уже не логистическая проблема, а конфигурационная.

Варіант виконання щодо шифрування. У частини накопичувачів є окремі позиції без апаратного шифрування — вони існують саме для ввезення до країн, де на криптозасоби діють обмеження. Замовляти потрібно той варіант, який уже встановлений: інакше вийде дискова група з накопичувачів різного виконання, і це вже не логістична проблема, а конфігураційна.

The encryption variant. Some drives have separate part numbers without hardware encryption — they exist precisely for import into countries where cryptographic devices are restricted. You must order the variant that is already installed: otherwise you end up with a disk group made of drives of different variants, and that is no longer a logistics problem but a configuration one.

Флеш заказывается по факту износа, а не по норме. Остаточный ресурс флеш-накопителей после пяти-шести лет — измеряемая величина, снимается штатными средствами. Если по какому-то узлу ресурс ушёл ниже десяти процентов, две карты в запасе ничего не решают: там нужна плановая замена, а не ЗИП. Это единственная позиция, где запас считается не от популяции, а от показаний.

Флеш замовляється за фактом зносу, а не за нормою. Залишковий ресурс флеш-накопичувачів після п’яти-шести років — вимірювана величина, знімається штатними засобами. Якщо по якомусь вузлу ресурс пішов нижче десяти відсотків, дві карти в запасі нічого не вирішують: там потрібна планова заміна, а не ЗІП. Це єдина позиція, де запас рахується не від популяції, а від показань.

Flash is ordered against measured wear, not against a blanket percentage. The remaining endurance of flash devices after five or six years is a measurable quantity, reported by built-in tooling. If endurance on some node has dropped below ten per cent, two cards on the shelf solve nothing: that calls for planned replacement, not spares. It is the only item where stock is calculated from readings rather than population.

Склад деградирует сам. Накопители и суперконденсаторы требуют ротации, батарейки саморазряжаются на полке. Раз в год складские позиции стоит прогонять через стенд. ЗИП, пролежавший пять лет в шкафу и ни разу не проверенный, — это не запас, а предположение о запасе.

Склад деградує сам. Накопичувачі й суперконденсатори потребують ротації, батарейки саморозряджаються на полиці. Раз на рік складські позиції варто проганяти через стенд. ЗІП, що пролежав п’ять років у шафі й жодного разу не перевірений, — це не запас, а припущення про запас.

Stock degrades on its own. Drives and supercapacitors need rotation, batteries self-discharge on the shelf. Once a year the stocked items are worth running through a test bench. Spares that have sat in a cabinet for five years and never been checked are not a stock but an assumption about a stock.

Почему номенклатура растёт

Чому номенклатура зростає

Why the list grows

Здесь важно понимать, что растёт именно перечень, а не количество по каждой позиции. Первые три года запас нужен минимальный: всё закрыто гарантией, вопрос только в скорости. Держим то, что даёт немедленное восстановление сервиса, — пару накопителей и блок питания.

Тут важливо розуміти, що зростає саме перелік, а не кількість за кожною позицією. Перші три роки запас потрібен мінімальний: усе закрито гарантією, питання лише у швидкості. Тримаємо те, що дає негайне відновлення сервісу, — пару накопичувачів і блок живлення.

The important thing here is that it is the list that grows, not the quantity of each item. For the first three years the stock can be minimal: everything is covered by warranty and the only issue is speed. Keep what gives immediate service restoration — a couple of drives and a power supply.

Четвёртый — шестой год. Начинают выходить компоненты с ограниченным ресурсом. Суперконденсаторы контроллеров живут пять-семь лет, и на шестилетнем комплексе это позиция первого приоритета, а не экзотика. Сюда же вентиляторы и блоки питания: механика и силовая электроника изнашиваются предсказуемо.

Четвертий — шостий рік. Починають виходити компоненти з обмеженим ресурсом. Суперконденсатори контролерів живуть п’ять-сім років, і на шестирічному комплексі це позиція першого пріоритету, а не екзотика. Сюди ж вентилятори і блоки живлення: механіка і силова електроніка зношуються передбачувано.

Years four to six. Components with a limited service life start to go. Controller supercapacitors last five to seven years, so on a six-year-old system they are a first-priority item, not an exotic one. Fans and power supplies belong here too: mechanics and power electronics wear out predictably.

Седьмой год и дальше, особенно без контракта, — в перечень добавляются активные компоненты: контроллеры, адаптеры, трансиверы. Не потому, что они стали чаще ломаться, а потому, что теперь их неоткуда быстро взять.

Сьомий рік і далі, особливо без контракту, — до переліку додаються активні компоненти: контролери, адаптери, трансивери. Не тому, що вони стали частіше ламатися, а тому, що тепер їх нема звідки швидко взяти.

Year seven and beyond, especially without a contract, adds active components to the list: controllers, adapters, transceivers. Not because they break more often, but because there is now nowhere to get them quickly.

После десяти лет разговор смещается: вопрос уже не в том, что положить на склад, а в том, можно ли эти позиции вообще купить. Если платформа снята с производства, ЗИП становится невосполняемым ресурсом — вы тратите то, что не пополнить.

Після десяти років розмова зміщується: питання вже не в тому, що покласти на склад, а в тому, чи можна ці позиції взагалі купити. Якщо платформа знята з виробництва, ЗІП стає невідновлюваним ресурсом — ви витрачаєте те, що не поповнити.

After ten years the conversation shifts: the question is no longer what to put on the shelf but whether those parts can be bought at all. If the platform is discontinued, spares become a non-renewable resource — you are spending something you cannot replenish.

И одно наблюдение напоследок, которое хорошо показывает, где на самом деле риск. На массивах прошлого поколения флеш-накопители стояли в роли кэша: десять-двенадцать штук на всю систему, собранных в зеркальные пары. Самый нагруженный по записи компонент массива был одновременно самым малочисленным, и считать по нему запас надо было не по проценту от популяции, а по износу.

І одне спостереження наостанок, яке добре показує, де насправді ризик. На масивах минулого покоління флеш-накопичувачі стояли в ролі кешу: десять-дванадцять штук на всю систему, зібраних у дзеркальні пари. Найнавантаженіший за записом компонент масиву був одночасно найменш численним, і рахувати за ним запас треба було не за відсотком від популяції, а за зносом.

And one closing observation that shows well where the risk actually is. In previous-generation arrays, flash drives served as cache: ten or twelve for the whole system, arranged in mirrored pairs. The most write-loaded component in the array was simultaneously the least numerous, and its stock had to be calculated from wear, not from a percentage of the population.

04

Зоны ответственностиЗони відповідальностіZones of responsibility

Кто обслуживает сложный комплекс

Хто обслуговує складний комплекс

Who services a complex system

Вендор отвечает за изделие. Работу на площадке за вас не сделает никто.

Вендор відповідає за виріб. Роботу на майданчику за вас не зробить ніхто.

The vendor is responsible for the product. Nobody will do the on-site work for you.

На сложных комплексах вопрос «чей саппорт» ставится неправильно. Правильный ответ — оба, и они закрывают разные вещи.

На складних комплексах питання «чий сапорт» ставиться неправильно. Правильна відповідь — обидва, і вони закривають різні речі.

On complex systems the question “whose support” is framed wrongly. The right answer is both, and they cover different things.

Вендор закрывает изделие: замену деталей, известные дефекты, обновления, консультацию по продукту. Чего он не делает — это не жадность, а границы услуги. Он не придёт разбирать вашу коммутацию. Не соберёт шкаф. Не проверит, что после работ всё воткнуто туда, куда было. Не спланирует технологическое окно под ваш календарь. И не примет за вас решение, в каком порядке поднимать компоненты.

Вендор закриває виріб: заміну деталей, відомі дефекти, оновлення, консультацію щодо продукту. Чого він не робить — це не жадібність, а межі послуги. Він не прийде розбирати вашу комутацію. Не збере шафу. Не перевірить, що після робіт усе увімкнено туди, куди було. Не спланує технологічне вікно під ваш календар. І не ухвалить за вас рішення, в якому порядку піднімати компоненти.

The vendor covers the product: parts replacement, known defects, updates, product consultation. What it does not do is not stinginess but the boundary of the service. It will not come and untangle your cabling. It will not build your rack. It will not verify that after the work everything is plugged back where it was. It will not plan a maintenance window around your calendar. And it will not decide for you in what order to bring components up.

Живой пример из недавнего. Двухузловой комплекс с внешней дисковой полкой после переноса на новую площадку. Штатная утилита проверки топологии на обеих нодах сообщает, что полка выключена. Полка при этом включена, прогрета, индикаторы линка на её модулях горят зелёным. Операционная система видит два системных накопителя и больше ничего.

Живий приклад із нещодавнього. Двовузловий комплекс із зовнішньою дисковою полицею після перенесення на новий майданчик. Штатна утиліта перевірки топології на обох вузлах повідомляє, що полиця вимкнена. Полиця при цьому увімкнена, прогріта, індикатори лінка на її модулях горять зеленим. Операційна система бачить два системні накопичувачі й більше нічого.

A live example from recently. A two-node system with an external disk shelf after relocation to a new site. The built-in topology check utility on both nodes reports that the shelf is powered off. The shelf is in fact powered on, warmed up, with link indicators on its modules glowing green. The operating system sees two system drives and nothing else.

Кабели оказались недощёлкнуты до конечной позиции.

Кабелі виявилися недоклацнуті до кінцевої позиції.

The cables had not been clicked all the way home.

Дальше можно рассуждать про уровни диагностики, и это полезное рассуждение, потому что путь был именно такой: сначала вывод утилиты вендора, потом голая операционная система, потом опрос контроллера в обход ядра, потом лог драйвера. Каждый уровень говорил своё, и только последовательный спуск вниз показал, что проблема не там, где её искали. Но закончилось всё тем, что человек подошёл к задней стенке шкафа и посмотрел на разъёмы глазами.

Далі можна міркувати про рівні діагностики, і це корисне міркування, бо шлях був саме такий: спершу вивід утиліти вендора, потім гола операційна система, потім опитування контролера в обхід ядра, потім лог драйвера. Кожен рівень казав своє, і лише послідовний спуск униз показав, що проблема не там, де її шукали. Але закінчилося все тим, що людина підійшла до задньої стінки шафи і подивилася на роз’єми очима.

From there one can reason about diagnostic layers, and it is useful reasoning, because that is exactly the path we took: first the vendor utility’s output, then the bare operating system, then querying the controller bypassing the kernel, then the driver log. Each layer said something different, and only descending through them in order showed that the problem was not where it was being looked for. But it all ended with a person walking round to the back of the rack and looking at the connectors with their own eyes.

Вот эта дистанция — от строчки в выводе утилиты до физического разъёма — и есть зона интегратора. Никакой контракт её не покрывает.

Ось ця дистанція — від рядка у виводі утиліти до фізичного роз’єму — і є зона інтегратора. Жоден контракт її не покриває.

That distance — from a line in a utility’s output to a physical connector — is the integrator’s zone. No contract covers it.

Два практических следствия для плана любых работ на сложном комплексе. Автозапуск кластерного программного обеспечения отключается до начала работ: иначе после сборки платформа попытается собрать дисковые группы на неполной топологии, и вы получите не «не завелось», а повреждение метаданных. И топология проверяется до старта прикладного слоя, а не после. Порядок проверок на включении важнее аккуратности на разборке: разобрать можно неидеально и починить, стартовать в неправильном порядке — нельзя.

Два практичні наслідки для плану будь-яких робіт на складному комплексі. Автозапуск кластерного програмного забезпечення вимикається до початку робіт: інакше після збирання платформа спробує зібрати дискові групи на неповній топології, і ви отримаєте не «не завелося», а пошкодження метаданих. І топологія перевіряється до старту прикладного шару, а не після. Порядок перевірок на увімкненні важливіший за акуратність на розбиранні: розібрати можна неідеально і полагодити, стартувати в неправильному порядку — не можна.

Two practical consequences for the plan of any work on a complex system. Cluster software auto-start is disabled before the work begins: otherwise, after reassembly the platform will try to assemble disk groups on an incomplete topology, and you get not “it did not come up” but metadata corruption. And the topology is verified before the application layer starts, not after. The order of checks at power-up matters more than tidiness during teardown: you can dismantle imperfectly and fix it; you cannot start in the wrong order.

И третье, про людей. Инженер со свежим опытом именно этой процедуры — такой же дефицитный ресурс, как запчасть, и планировать его надо так же заранее. Человек, который делал такой перенос три недели назад, знает, где процедура спотыкается, и не тратит на выяснение технологическое окно.

І третє, про людей. Інженер зі свіжим досвідом саме цієї процедури — такий самий дефіцитний ресурс, як запчастина, і планувати його треба так само заздалегідь. Людина, яка робила таке перенесення три тижні тому, знає, де процедура спотикається, і не витрачає на з’ясування технологічне вікно.

And third, about people. An engineer with fresh experience of this exact procedure is as scarce a resource as a spare part, and has to be planned for just as far ahead. Someone who did this move three weeks ago knows where the procedure stumbles and does not spend the maintenance window finding out.

05

Стареет всёСтаріє всеEverything ages

Стареет вся инфраструктура, не только серверы

Старіє вся інфраструктура, не лише сервери

The whole estate ages, not just the servers

Возраст парка считают по серверам и массивам. Стареют коммутаторы, межсетевые экраны, батареи и кабели.

Вік парку рахують за серверами і масивами. Старіють комутатори, міжмережеві екрани, батареї і кабелі.

The age of an estate is counted by servers and arrays. Switches, firewalls, batteries and cables age too.

Когда обсуждают устаревание, говорят про серверы и системы хранения. Между тем в шкафу стареет всё.

Коли обговорюють застарівання, говорять про сервери і системи зберігання. Тим часом у шафі старіє все.

When obsolescence is discussed, the talk is about servers and storage. Meanwhile everything in the rack is ageing.

Сетевое оборудование устаревает не по железу, а по скорости портов и по поддержке программного обеспечения. Коммутатор может отработать десять лет и не сломаться ни разу — и при этом стать неустранимым узким местом, потому что новое поколение подключаемых устройств рассчитано на другую полосу. Я разбирал это во втором выпуске на примере смены поколения ленточных приводов: строка «замена коммутаторов» в смете выглядела раздуванием бюджета, а была прямым следствием того, что порт предыдущего поколения не вмещает поток нового привода.

Мережеве обладнання застаріває не за залізом, а за швидкістю портів і за підтримкою програмного забезпечення. Комутатор може відпрацювати десять років і не зламатися жодного разу — і при цьому стати непереборним вузьким місцем, бо нове покоління підключуваних пристроїв розраховане на іншу смугу. Я розбирав це в другому випуску на прикладі зміни покоління стрічкових приводів: рядок «заміна комутаторів» у кошторисі виглядав роздуванням бюджету, а був прямим наслідком того, що порт попереднього покоління не вміщує потік нового привода.

Network equipment ages not through hardware but through port speed and software support. A switch can run for ten years without a single failure — and still become an irremovable bottleneck, because the new generation of attached devices expects a different bandwidth. I unpacked this in the second issue using a tape drive generation change as the example: the line “switch replacement” in the estimate looked like budget padding, but was a direct consequence of the previous-generation port being unable to carry the new drive’s stream.

Межсетевые экраны стареют быстрее всего остального, и по двум причинам сразу: производительность инспекции падает относительно выросшего трафика, а поддержка версий программного обеспечения заканчивается раньше, чем изнашивается железо. Здесь возраст измеряется не годами, а тем, какие функции вы уже не можете включить без потери пропускной способности.

Міжмережеві екрани старіють швидше за все інше, і з двох причин одразу: продуктивність інспекції падає відносно вирослого трафіку, а підтримка версій програмного забезпечення закінчується раніше, ніж зношується залізо. Тут вік вимірюється не роками, а тим, які функції ви вже не можете увімкнути без втрати пропускної здатності.

Firewalls age faster than anything else, for two reasons at once: inspection throughput falls behind grown traffic, and software version support ends before the hardware wears out. Here age is measured not in years but in which features you can no longer enable without losing throughput.

Источники бесперебойного питания — это батареи со сроком жизни в три-пять лет внутри корпуса со сроком жизни в десять. Их надо считать отдельным изделием со своим циклом замены.

Джерела безперебійного живлення — це батареї зі строком життя в три-п’ять років усередині корпусу зі строком життя в десять. Їх треба рахувати окремим виробом зі своїм циклом заміни.

A UPS is a set of batteries with a three-to-five-year life inside a chassis with a ten-year life. They have to be treated as a separate product with their own replacement cycle.

Кабельное хозяйство — тема, на которой экономят чаще всего. Многомодовая оптика при переезде меняется на новую без обсуждения: микроизгибы копятся годами, клей и пластик рассыхаются в горячем коридоре. Проблема ещё и в том, что такой патч-корд не отказывает честно и сразу — он даёт растущее число ошибок под нагрузкой, и причину будут искать где угодно, только не в нём. Медные соединения на десять и двадцать пять гигабит требуют осмотра каждого экземпляра: они тоньше, легче заламываются, фиксаторы вытягиваются.

Кабельне господарство — тема, на якій економлять найчастіше. Багатомодова оптика при переїзді змінюється на нову без обговорення: мікровигини накопичуються роками, клей і пластик розсихаються в гарячому коридорі. Проблема ще й у тому, що такий патч-корд не відмовляє чесно і одразу — він дає зростаючу кількість помилок під навантаженням, і причину шукатимуть де завгодно, тільки не в ньому. Мідні з’єднання на десять і двадцять п’ять гігабіт вимагають огляду кожного примірника: вони тонші, легше заламуються, фіксатори витягуються.

Cabling is where people economise most often. Multimode fibre gets replaced with new on any move, no discussion: microbends accumulate over years, adhesive and plastic dry out in the hot aisle. The other problem is that such a patch cord does not fail honestly and at once — it produces a growing error count under load, and the cause will be hunted for anywhere but there. Copper links at ten and twenty-five gigabits need every single one inspected: they are thinner, kink more easily, and their latches stretch out.

Отдельно про ускорители под искусственный интеллект — это сегодня самый быстро стареющий класс железа в шкафу. Поколения сменяются раз в год-полтора, и это уже влияет на закупочные процедуры напрямую: я видел технические задания на государственные закупки, где описанные карты и конфигурации на момент публикации были прошлым поколением и просто не заказывались — согласование съело больше времени, чем прожило поколение.

Окремо про прискорювачі під штучний інтелект — це сьогодні найшвидше старіючий клас заліза в шафі. Покоління змінюються раз на рік-півтора, і це вже впливає на закупівельні процедури напряму: я бачив технічні завдання на державні закупівлі, де описані карти й конфігурації на момент публікації були минулим поколінням і просто не замовлялися — узгодження з’їло більше часу, ніж прожило покоління.

A separate word about AI accelerators — today the fastest-ageing class of hardware in the rack. Generations turn over every year to eighteen months, and that already affects procurement directly: I have seen public tender specifications where the cards and configurations described were, by the time of publication, the previous generation and simply not orderable — the approval process ate more time than the generation lived.

Отсюда практическое соображение, которое стоит проговаривать до закупки. Если задача под искусственный интеллект большая и разовая — обучение, эксперимент, проверка гипотезы, — считайте вариант с арендными мощностями всерьёз. Цена ускорителей космическая, меняются они постоянно, и при покупке весь этот цикл ложится в карман заказчика вместе со стратегией запаса частей: чем комплектовать ЗИП на изделие, которого через год уже не будет в прайсе, — вопрос без хорошего ответа. Своё железо оправдано там, где нагрузка постоянная, данные не выпустить наружу или посчитана окупаемость на горизонте, который короче смены поколения.

Звідси практичне міркування, яке варто проговорювати до закупівлі. Якщо задача під штучний інтелект велика і разова — навчання, експеримент, перевірка гіпотези, — рахуйте варіант з орендними потужностями всерйоз. Ціна прискорювачів космічна, змінюються вони постійно, і при купівлі весь цей цикл лягає в кишеню замовника разом зі стратегією запасу частин: чим комплектувати ЗІП на виріб, якого через рік уже не буде в прайсі, — питання без хорошої відповіді. Своє залізо виправдане там, де навантаження постійне, дані не випустити назовні або порахована окупність на горизонті, який коротший за зміну покоління.

Hence a practical consideration worth raising before purchase. If the AI task is large and one-off — training, an experiment, testing a hypothesis — take the rented-capacity option seriously. Accelerator prices are astronomical, the parts change constantly, and on purchase that whole cycle lands in the customer’s pocket along with the spares strategy: what do you stock for a product that will not be in the price list a year from now is a question with no good answer. Owning hardware is justified where the load is constant, where the data cannot leave the premises, or where payback has been calculated over a horizon shorter than a generation change.

И общее правило, которое из этого следует: чем моложе класс компонента, тем короче его цикл устаревания. Массив на шпиндельных накопителях спокойно работал десять лет, потому что и вокруг него ничего быстро не менялось. Флеш-поколения сменяются вдвое быстрее — и не потому, что флеш хуже, а потому, что интерфейсы, плотность и протоколы вокруг него двигаются каждые два-три года. Оборудование, купленное в быстро меняющемся классе, устаревает относительно окружения раньше, чем изнашивается физически.

І загальне правило, яке з цього випливає: що молодший клас компонента, то коротший його цикл застарівання. Масив на шпиндельних накопичувачах спокійно працював десять років, бо і навколо нього нічого швидко не змінювалося. Флеш-покоління змінюються удвічі швидше — і не тому, що флеш гірший, а тому, що інтерфейси, щільність і протоколи навколо нього рухаються кожні два-три роки. Обладнання, куплене у швидко змінюваному класі, застаріває відносно оточення раніше, ніж зношується фізично.

And the general rule that follows: the younger the component class, the shorter its obsolescence cycle. An array of spinning disks happily ran for ten years, because nothing around it changed quickly either. Flash generations turn over twice as fast — not because flash is worse, but because the interfaces, densities and protocols around it move every two or three years. Equipment bought in a fast-moving class becomes obsolete relative to its surroundings long before it wears out physically.

06

Четыре возрастаЧотири вікиThe four ages

Шкала доверия и класс обслуживания

Шкала довіри і клас обслуговування

The trust scale and the service class

Оборудование не переходит из «нового» в «сломанное» одним движением. Между этими состояниями четыре периода.

Обладнання не переходить із «нового» у «зламане» одним рухом. Між цими станами чотири періоди.

Equipment does not go from “new” to “broken” in one step. There are four periods between those states.

Это то, ради чего писался весь выпуск. Шкала простая, я пользуюсь ей при планировании и при разговоре с заказчиком.

Це те, заради чого писався весь випуск. Шкала проста, я користуюся нею при плануванні і в розмові із замовником.

This is what the whole issue was written for. The scale is simple; I use it in planning and in conversations with customers.

Первый возраст, до трёх лет. Доверие полное. Формулировка тут важна: не «оборудование не подводит», а риск полностью лежит на вендоре. Отказы первого года никуда не деваются, детская смертность электроники существует — но за них платит не заказчик. Шкала измеряет не надёжность железа, а то, кто несёт последствия отказа. В этом периоде на оборудование можно ставить что угодно, включая самые критичные сервисы, без дополнительных оговорок.

Перший вік, до трьох років. Довіра повна. Формулювання тут важливе: не «обладнання не підводить», а ризик повністю лежить на вендорі. Відмови першого року нікуди не діваються, дитяча смертність електроніки існує — але за них платить не замовник. Шкала вимірює не надійність заліза, а те, хто несе наслідки відмови. У цьому періоді на обладнання можна ставити що завгодно, включно з найкритичнішими сервісами, без додаткових застережень.

The first age, up to three years. Full trust. The wording matters here: not “the equipment does not let you down”, but the risk sits entirely with the vendor. First-year failures do not go anywhere, infant mortality in electronics is real — but the customer is not the one paying for it. The scale measures not hardware reliability but who bears the consequences of a failure. In this period you can put anything on the equipment, including the most critical services, with no further caveats.

Второй возраст, четыре-шесть лет. Доверие 85–90%. Оборудование под продлённым контрактом, но начинают выходить компоненты с ограниченным ресурсом. Здесь появляется ЗИП как обязательная строка, а не как пожелание. Критичные сервисы держать можно, но у них должна быть отработанная механика переключения, а не запись в плане аварийного восстановления.

Другий вік, чотири-шість років. Довіра 85–90%. Обладнання під продовженим контрактом, але починають виходити компоненти з обмеженим ресурсом. Тут з’являється ЗІП як обов’язковий рядок, а не як побажання. Критичні сервіси тримати можна, але в них має бути відпрацьована механіка перемикання, а не запис у плані аварійного відновлення.

The second age, four to six years. Trust 85–90%. The equipment is under an extended contract, but components with a limited service life start to fail. Here spares become a mandatory line item rather than a wish. Critical services can stay, but they must have a rehearsed failover mechanism, not an entry in a disaster recovery plan.

Третий возраст, семь-десять лет. Доверие 75–80%. Контракт, скорее всего, закончился или стоит уже неразумных денег. Номенклатура запаса выросла до активных компонентов. На таком оборудовании нормально живут тестовые и предпродуктивные контуры, вспомогательные сервисы, архивные уровни хранения. А вот резервную площадку на возрастное железо выносить нельзя: реплика по определению должна быть не хуже того, что она страхует, иначе переключение состоится ровно один раз и не туда. Основной продуктив — только если под ним есть работающая реплика на чём-то более молодом.

Третій вік, сім-десять років. Довіра 75–80%. Контракт, найімовірніше, закінчився або коштує вже нерозумних грошей. Номенклатура запасу виросла до активних компонентів. На такому обладнанні нормально живуть тестові й передпродуктивні контури, допоміжні сервіси, архівні рівні зберігання. А от резервний майданчик на вікове залізо виносити не можна: репліка за визначенням має бути не гіршою за те, що вона страхує, інакше перемикання відбудеться рівно один раз і не туди. Основний продуктив — лише якщо під ним є працююча репліка на чомусь молодшому.

The third age, seven to ten years. Trust 75–80%. The contract has most likely ended or costs unreasonable money by now. The spares list has grown to include active components. Test and pre-production environments, auxiliary services and archive storage tiers live perfectly well on such equipment. What you must not do is put the disaster recovery site on ageing hardware: by definition a replica must be no worse than what it insures, otherwise the failover will happen exactly once and in the wrong direction. Primary production only if there is a live replica beneath it on something younger.

Четвёртый возраст, после десяти лет. Предсписание, доверие 50%. Половина — это честная оценка того, что вы получите в момент, когда оборудование понадобится. На нём не должно оставаться ничего, чей отказ придётся объяснять. Это ресурс для того, что можно потерять: лабораторные стенды, разовые задачи, площадка для обучения команды.

Четвертий вік, після десяти років. Передсписання, довіра 50%. Половина — це чесна оцінка того, що ви отримаєте в момент, коли обладнання знадобиться. На ньому не має лишатися нічого, чию відмову доведеться пояснювати. Це ресурс для того, що можна втратити: лабораторні стенди, разові задачі, майданчик для навчання команди.

The fourth age, past ten years. Pre-decommission, trust 50%. A half is an honest estimate of what you will get at the moment the equipment is actually needed. Nothing should remain on it whose failure you would have to explain. It is a resource for things you can afford to lose: lab environments, one-off tasks, a platform for training the team.

Дальше шкала складывается с критичностью сервиса, и получается матрица, по которой распределяется весь парк. Правило из неё следует простое: сервис нельзя держать на оборудовании, доверие к которому ниже требований этого сервиса. Если система обязана вернуться за четыре часа, а стоит на железе третьего возраста без запчастей, норматив существует только на бумаге — и это видно на бумаге же, без всякой аварии.

Далі шкала складається з критичністю сервісу, і виходить матриця, за якою розподіляється весь парк. Правило з неї випливає просте: сервіс не можна тримати на обладнанні, довіра до якого нижча за вимоги цього сервісу. Якщо система зобов’язана повернутися за чотири години, а стоїть на залізі третього віку без запчастин, норматив існує лише на папері — і це видно на папері ж, без жодної аварії.

The scale then combines with service criticality, and you get a matrix by which the whole estate is allocated. A simple rule follows from it: a service must not sit on equipment whose trust level is below that service’s requirements. If a system has to be back within four hours but runs on third-age hardware with no spares, the target exists only on paper — and that is visible on paper too, without any incident.

07

Признаки концаОзнаки кінцяSigns of the end

Когда пора списывать

Коли час списувати

When it is time to decommission

Отпускать оборудование вовремя — отдельный навык. Он в том, чтобы не ждать отказа как повода.

Відпускати обладнання вчасно — окрема навичка. Вона в тому, щоб не чекати відмови як приводу.

Letting equipment go on time is a skill of its own. It consists of not waiting for a failure to serve as the reason.

Списание почти всегда откладывают, потому что работает же. Формальный повод появляется в момент падения, и это самый дорогой из возможных поводов. Ниже признаки, каждого из которых достаточно, чтобы начать разговор.

Списання майже завжди відкладають, бо працює ж. Формальний привід з’являється в момент падіння, і це найдорожчий із можливих приводів. Нижче ознаки, кожної з яких достатньо, щоб почати розмову.

Decommissioning is almost always postponed, because it still works. The formal reason appears at the moment of an outage, and that is the most expensive reason available. Below are signs, each of which is enough to start the conversation.

Платформа упёрлась в потолок

Платформа вперлася у стелю

The platform has hit its ceiling

Не в производительность, а в конструктивный предел: больше накопителей не встаёт, больше памяти не поддерживается, ёмкость кэша ограничена программно и за деньги не увеличивается. Если следующее расширение невозможно в принципе, оборудование уже определяет вашу архитектуру, а не обслуживает её.

Не в продуктивність, а в конструктивну межу: більше накопичувачів не стає, більше пам’яті не підтримується, ємність кешу обмежена програмно і за гроші не збільшується. Якщо наступне розширення неможливе в принципі, обладнання вже визначає вашу архітектуру, а не обслуговує її.

Not performance, but a structural limit: no more drives fit, no more memory is supported, cache capacity is capped in software and cannot be increased for money. If the next expansion is impossible in principle, the equipment is now defining your architecture rather than serving it.

Состав комплекса известен приблизительно

Склад комплексу відомий приблизно

The system’s composition is known only approximately

Реальный случай: состав системы хранения восстанавливали по фотографиям полок — сколько полок, какого типоразмера, с какими накопителями внутри. Документации не было, людей, которые её собирали, тоже. Пока непонятно, что именно стоит, разговор о ЗИП, о поддержке и о списании вести не с чем: считать нечего.

Реальний випадок: склад системи зберігання відновлювали за фотографіями полиць — скільки полиць, якого типорозміру, з якими накопичувачами всередині. Документації не було, людей, які її збирали, теж. Поки незрозуміло, що саме стоїть, розмову про ЗІП, про підтримку і про списання вести нема з чим: рахувати нема чого.

A real case: a storage system’s composition was reconstructed from photographs of the shelves — how many shelves, what form factor, which drives inside. There was no documentation, and none of the people who built it were around either. Until it is clear what is actually installed, there is nothing to base a conversation about spares, support or decommissioning on: there is nothing to calculate.

Критические замечания не устраняются

Критичні зауваження не усуваються

Critical findings are not being closed

Свежий пример: полный диагностический отчёт по паре комплексов дал 92 и 93 балла из ста. Звучит отлично — пока не прочитаешь, что внутри этих ста баллов по три критических замечания на каждом, невыполненная регистрация исправлений, неустановленные компоненты обновления, отказавший конденсатор кэша на одном из контроллеров, неверно сконфигурированная энергонезависимая память на всех ячейках одного из кластеров и почти закончившееся место в системной группе томов. Общий балл — это среднее по больнице. Читать надо строки с пометкой critical, и главное — смотреть, сколько из них висит там больше года.

Свіжий приклад: повний діагностичний звіт по парі комплексів дав 92 і 93 бали зі ста. Звучить чудово — поки не прочитаєш, що всередині цих ста балів по три критичні зауваження на кожному, невиконана реєстрація виправлень, невстановлені компоненти оновлення, відмовлений конденсатор кешу на одному з контролерів, невірно сконфігурована енергонезалежна пам’ять на всіх комірках одного з кластерів і майже закінчене місце в системній групі томів. Загальний бал — це середнє по лікарні. Читати треба рядки з позначкою critical, і головне — дивитися, скільки з них висить там більше року.

A recent example: a full diagnostic report on a pair of systems returned 92 and 93 out of a hundred. Sounds excellent — until you read what is inside those hundred points: three critical findings on each, patch registration not completed, update components not installed, a failed cache capacitor on one of the controllers, non-volatile memory misconfigured on all cells of one cluster, and system volume group space nearly exhausted. The overall score is an average that hides all of that. What you have to read are the lines flagged critical — and above all, how many of them have been sitting there for over a year.

Отказы перестали быть единичными

Відмови перестали бути поодинокими

Failures are no longer isolated

Первый отказ закрывается тем, что нашлось на складе. Второй — тем, что осталось. Дефицит ЗИП обнаруживается не в момент отказа, а в момент второго отказа, и это же момент, когда становится понятно: чинить дальше значит тратить невосполнимое.

Перша відмова закривається тим, що знайшлося на складі. Друга — тим, що лишилося. Дефіцит ЗІП виявляється не в момент відмови, а в момент другої відмови, і це ж момент, коли стає зрозуміло: лагодити далі означає витрачати невідновлюване.

The first failure is covered by whatever was on the shelf. The second by whatever is left. A spares shortage is discovered not at the moment of a failure but at the moment of the second one — and that is also the moment it becomes clear that carrying on repairing means spending something you cannot replace.

Деградация без явного отказа

Деградація без явної відмови

Degradation without an outright failure

Самый неприятный признак. Ничего не горит красным, но растёт число ошибок, увеличиваются времена отклика, задания перестают укладываться в окно. Оборудование не отказывает, а перестаёт справляться — и это состояние может тянуться годами, пока кто-нибудь не сложит цифры.

Найнеприємніша ознака. Нічого не горить червоним, але зростає кількість помилок, збільшуються часи відгуку, завдання перестають укладатися у вікно. Обладнання не відмовляє, а перестає справлятися — і цей стан може тягнутися роками, поки хтось не складе цифри.

The nastiest sign of all. Nothing is glowing red, but the error count is rising, response times are growing, jobs stop fitting into the window. The equipment is not failing — it is ceasing to cope, and that state can drag on for years until somebody adds the numbers up.

И последний признак, о котором отдельно в следующем разделе: прикладной софт больше не требует этой платформы.

І остання ознака, про яку окремо в наступному розділі: прикладний софт більше не вимагає цієї платформи.

And the last sign, covered separately in the next section: the application software no longer requires this platform.

08

Содержать или заменитьУтримувати чи замінитиKeep or replace

Когда замена дешевле поддержки

Коли заміна дешевша за підтримку

When replacement is cheaper than support

Продление стоит 10–15% цены нового в год. Против этих процентов надо ставить не только надёжность.

Продовження коштує 10–15% ціни нового на рік. Проти цих відсотків треба ставити не лише надійність.

Renewal costs 10–15% of the price of new per year. Reliability is not the only thing to weigh against those percentages.

Сравнение «продлить поддержку или купить новое» обычно сводят к одной строке: контракт стоит столько, железо столько, контракт дешевле. Он действительно дешевле — если считать только его.

Порівняння «продовжити підтримку чи купити нове» зазвичай зводять до одного рядка: контракт коштує стільки, залізо стільки, контракт дешевший. Він справді дешевший — якщо рахувати лише його.

The “renew support or buy new” comparison is usually reduced to one line: the contract costs this much, the hardware costs that much, the contract is cheaper. It genuinely is cheaper — if the contract is all you count.

Посчитаем на двух реальных поколениях, разнесённых примерно на десять лет. Задача одинаковая: около 490 терабайт полезной ёмкости.

Порахуємо на двох реальних поколіннях, рознесених приблизно на десять років. Задача однакова: близько 490 терабайт корисної ємності.

Let us do the sums on two real generations about ten years apart. The task is the same: roughly 490 terabytes of usable capacity.

Решение прошлого поколения — массив среднего класса начала две тысячи десятых, накопители 3 ТБ, защита с двойной чётностью в группах шесть плюс два, плюс горячий резерв. На 490 терабайт полезной ёмкости получается 232 накопителя. По пятнадцать штук в полке — шестнадцать дисковых полок высотой 3U, вместе с процессорным блоком порядка 53 юнитов, то есть два шкафа. Флеш в этой системе есть, но в роли кэша: десять-двенадцать накопителей по 200 гигабайт в зеркальных парах, что даёт программный предел кэша в 1–1,2 терабайта. От полезного объёма это две десятых процента, и увеличить их нельзя ни за какие деньги — лимит платформенный.

Рішення минулого покоління — масив середнього класу початку дві тисячі десятих, накопичувачі 3 ТБ, захист із подвійною парністю в групах шість плюс два, плюс гарячий резерв. На 490 терабайт корисної ємності виходить 232 накопичувачі. По п’ятнадцять штук у полиці — шістнадцять дискових полиць висотою 3U, разом із процесорним блоком близько 53 юнітів, тобто дві шафи. Флеш у цій системі є, але в ролі кешу: десять-дванадцять накопичувачів по 200 гігабайт у дзеркальних парах, що дає програмну межу кешу в 1–1,2 терабайта. Від корисного обсягу це дві десятих відсотка, і збільшити їх не можна ні за які гроші — ліміт платформний.

The previous-generation solution is a mid-range array from the early 2010s, 3 TB drives, dual-parity protection in six-plus-two groups, plus hot spares. For 490 terabytes usable that comes to 232 drives. At fifteen per shelf that is sixteen 3U disk shelves, and together with the controller enclosure around 53 units — two racks. There is flash in the system, but as cache: ten to twelve 200-gigabyte devices in mirrored pairs, giving a software cache ceiling of 1–1.2 terabytes. That is two tenths of a per cent of the usable capacity, and it cannot be increased for any money — the limit is in the platform.

Решение сегодняшнее — 24 накопителя NVMe по 30,72 ТБ в одной полке. За вычетом служебных резервов и защиты — те же примерно 490 терабайт полезных. Два юнита. Флеш — сто процентов ёмкости.

Рішення сьогоднішнє — 24 накопичувачі NVMe по 30,72 ТБ в одній полиці. За вирахуванням службових резервів і захисту — ті самі приблизно 490 терабайт корисних. Два юніти. Флеш — сто відсотків ємності.

Today’s solution — 24 NVMe drives of 30.72 TB in a single shelf. After reserves and protection overhead, the same roughly 490 terabytes usable. Two units. Flash — a hundred per cent of the capacity.

Теперь четыре статьи, которые не попадают в сравнение «контракт против железа».

Тепер чотири статті, які не потрапляють у порівняння «контракт проти заліза».

Now four cost items that never make it into the “contract versus hardware” comparison.

Электричество. Разница около четырёх киловатт непрерывно — примерно 36 мегаватт-часов в год. И каждый киловатт, который потреблён, надо ещё отвести, так что по счёту получается около удвоенной величины.

Електрика. Різниця близько чотирьох кіловатів безперервно — приблизно 36 мегават-годин на рік. І кожен кіловат, який спожитий, треба ще відвести, тож за рахунком виходить близько подвоєної величини.

Electricity. A difference of about four kilowatts continuous — roughly 36 megawatt-hours a year. And every kilowatt consumed still has to be removed as heat, so the bill comes to about double that.

Место. Пятьдесят один освобождённый юнит. Это не абстракция: в четвёртом выпуске я писал, что свободные юниты в шкафу — единственный дешёвый способ купить себе следующий апгрейд без ещё одного переезда.

Місце. П’ятдесят один звільнений юніт. Це не абстракція: у четвертому випуску я писав, що вільні юніти в шафі — єдиний дешевий спосіб купити собі наступний апгрейд без ще одного переїзду.

Space. Fifty-one units freed. That is not an abstraction: in the fourth issue I wrote that free units in a rack are the only cheap way to buy yourself the next upgrade without another relocation.

Запас частей. По норме 3–5% от популяции на старом решении это восемь-двенадцать накопителей плюс модули ввода-вывода и блоки питания на шестнадцать полок. На новом — минимальные две штуки и одна полка. Разница на порядок, и это до разговора о том, что запчасти на снятую платформу ещё надо где-то найти.

Запас частин. За нормою 3–5% від популяції на старому рішенні це вісім-дванадцять накопичувачів плюс модулі вводу-виводу і блоки живлення на шістнадцять полиць. На новому — мінімальні дві штуки і одна полиця. Різниця на порядок, і це до розмови про те, що запчастини на зняту платформу ще треба десь знайти.

Spares. At the usual 3–5%, the old solution means eight to twelve drives plus I/O modules and power supplies for sixteen shelves. The new one means the minimum two units and one shelf. An order of magnitude of difference — and that is before the conversation about actually finding parts for a discontinued platform.

Сложность эксплуатации. Двести тридцать два накопителя против двадцати четырёх — это не только вероятность отказа, умноженная на десять. Это шестнадцать полок, которые надо разложить по шинам, шкафам и вводам питания, и два шкафа в зале вместо двух юнитов.

Складність експлуатації. Двісті тридцять два накопичувачі проти двадцяти чотирьох — це не лише ймовірність відмови, помножена на десять. Це шістнадцять полиць, які треба розкласти по шинах, шафах і вводах живлення, і дві шафи в залі замість двох юнітів.

Operational complexity. Two hundred and thirty-two drives against twenty-four is not just failure probability multiplied by ten. It is sixteen shelves to lay out across buses, racks and power feeds, and two cabinets on the floor instead of two units.

Поддержка перестаёт быть экономией: она откладывает платёж, оставляя все остальные расходы на месте.

Підтримка перестає бути економією: вона відкладає платіж, лишаючи всі інші витрати на місці.

Support stops being a saving: it defers the payment while leaving every other cost exactly where it was.

Складываем. Три года продления — треть-половина стоимости замены. Против этой половины стоит пятикратная экономия по электричеству, полтора освобождённых шкафа, десятикратно меньший запас частей и уход с платформы, которая упёрлась в потолок. При таком раскладе поддержка перестаёт быть экономией: она откладывает платёж, оставляя все остальные расходы на месте.

Складаємо. Три роки продовження — третина-половина вартості заміни. Проти цієї половини стоїть п’ятикратна економія на електриці, півтори звільнені шафи, десятикратно менший запас частин і відхід із платформи, яка вперлася у стелю. За такого розкладу підтримка перестає бути економією: вона відкладає платіж, лишаючи всі інші витрати на місці.

Adding it up. Three years of renewal is a third to a half of the replacement cost. Against that half stand a fivefold saving on electricity, one and a half racks freed, a tenfold smaller spares stock, and leaving behind a platform that has hit its ceiling. On that arithmetic, support stops being a saving: it defers the payment while leaving every other cost exactly where it was.

Оговорюсь честно: это расчётная иллюстрация порядка величин, на вашей конфигурации числа будут другими. Но соотношение — не проценты, а разы — от конфигурации не зависит, и именно оно должно попадать в разговор о бюджете.

Обмовлюся чесно: це розрахункова ілюстрація порядку величин, на вашій конфігурації числа будуть іншими. Але співвідношення — не відсотки, а рази — від конфігурації не залежить, і саме воно має потрапляти в розмову про бюджет.

An honest caveat: this is an order-of-magnitude illustration, and on your configuration the numbers will be different. But the ratio — multiples, not percentages — does not depend on the configuration, and it is the ratio that belongs in the budget conversation.

И самое неожиданное

І найнесподіваніше

And the most unexpected part

Всё вышесказанное — про случай, когда решение принимаете вы. Часто его принимают за вас.

Усе вищесказане — про випадок, коли рішення ухвалюєте ви. Часто його ухвалюють за вас.

Everything above assumes the decision is yours to make. Often it is made for you.

В моей практике был парк на проприетарной UNIX-платформе с массивами предыдущего поколения: диски по 146 гигабайт, фирменный менеджер путей, машинные залы с вертикальным отводом тепла. Заменили его на классические серверы x86 в 2021 году. Причиной был не износ, не истекшая поддержка и не отсутствие запчастей. Сменился прикладной софт, и вместе с ним ушла необходимость в такой архитектуре вообще.

У моїй практиці був парк на пропрієтарній UNIX-платформі з масивами попереднього покоління: диски по 146 гігабайт, фірмовий менеджер шляхів, машинні зали з вертикальним відведенням тепла. Замінили його на класичні сервери x86 у 2021 році. Причиною був не знос, не спливла підтримка і не відсутність запчастин. Змінився прикладний софт, і разом із ним пішла необхідність у такій архітектурі взагалі.

In my own practice there was an estate on a proprietary UNIX platform with previous-generation arrays: 146-gigabyte disks, a vendor path manager, data halls with vertical heat removal. It was replaced with standard x86 servers in 2021. The reason was neither wear, nor expired support, nor a lack of spares. The application software changed, and with it went the need for that architecture at all.

Миграция при этом оказалась не переносом. Структура данных в новой системе была другой настолько, что штатные средства не подходили: базу выгрузили в текстовые файлы и залили заново. Данные пережили железо, но прошли через CSV.

Міграція при цьому виявилася не перенесенням. Структура даних у новій системі була іншою настільки, що штатні засоби не підходили: базу вивантажили в текстові файли і залили наново. Дані пережили залізо, але пройшли через CSV.

The migration turned out not to be a migration at all. The data structure in the new system was different enough that standard tooling did not apply: the database was exported to text files and loaded again from scratch. The data outlived the hardware, but it went through CSV to get there.

Отсюда вывод, который стоит держать в голове при любом планировании замены: дату списания назначает прикладная система, а не даташит вендора. План, построенный от даты окончания поддержки, планирует не то. Спрашивать надо не только «сколько ещё проживёт железо», но и «что будет работать на нём через три года и потребует ли оно вообще такой платформы».

Звідси висновок, який варто тримати в голові при будь-якому плануванні заміни: дату списання призначає прикладна система, а не датащит вендора. План, побудований від дати закінчення підтримки, планує не те. Питати треба не лише «скільки ще проживе залізо», а й «що працюватиме на ньому через три роки і чи вимагатиме воно взагалі такої платформи».

Hence a conclusion worth holding on to in any replacement planning: the decommissioning date is set by the application, not by the vendor datasheet. A plan built backwards from the support end date is planning the wrong thing. The question to ask is not only “how much longer will the hardware live” but also “what will be running on it in three years, and will that even need this kind of platform”.

09

Чек-листЧек-листChecklist

Что спросить про свой парк

Що спитати про свій парк

What to ask about your estate

Двенадцать вопросов, после которых парком управляют, а не реагируют на него.

Дванадцять питань, після яких парком керують, а не реагують на нього.

Twelve questions after which you manage the estate instead of reacting to it.

1. Известен ли фактический состав каждого комплекса — по документу, а не по памяти? И когда он сверялся с реальностью в последний раз?
2. Какая дата окончания поддержки у каждой позиции и от какой даты она считается — поставки или ввода в эксплуатацию?
3. Что происходит с доступом к обновлениям и исправлениям после окончания контракта и кто это проверял?
4. Сколько стоит продление в процентах от цены нового аналогичного оборудования и считал ли кто-нибудь это соотношение в этом году?
5. Есть ли ЗИП, что в нём лежит и когда складские позиции проверялись на работоспособность?
6. Совпадает ли исполнение запасных накопителей с установленными — по модели, ёмкости и варианту по шифрованию?
7. Какой остаточный ресурс у флеш-компонентов и снимался ли он вообще?
8. К какому возрасту относится каждый комплекс по шкале и какие сервисы на нём стоят? Нет ли сервисов, чьи требования выше доверия к железу под ними?
9. Когда снимался полный диагностический отчёт, сколько в нём критических замечаний и сколько из них висят больше года?
10. Упёрлась ли платформа в конструктивный предел по ёмкости, памяти или скорости портов?
11. Посчитано ли энергопотребление парка и сколько юнитов занято под задачи, которые сегодня решаются вдвое меньшим объёмом?
12. Известно ли, какой прикладной софт будет работать на этом оборудовании через три года и потребует ли он такой платформы?

1. Чи відомий фактичний склад кожного комплексу — за документом, а не з пам’яті? І коли він звірявся з реальністю востаннє?
2. Яка дата закінчення підтримки в кожної позиції і від якої дати вона рахується — постачання чи введення в експлуатацію?
3. Що відбувається з доступом до оновлень і виправлень після закінчення контракту і хто це перевіряв?
4. Скільки коштує продовження у відсотках від ціни нового аналогічного обладнання і чи рахував хтось це співвідношення цього року?
5. Чи є ЗІП, що в ньому лежить і коли складські позиції перевірялися на працездатність?
6. Чи збігається виконання запасних накопичувачів зі встановленими — за моделлю, ємністю і варіантом щодо шифрування?
7. Який залишковий ресурс у флеш-компонентів і чи знімався він узагалі?
8. До якого віку належить кожен комплекс за шкалою і які сервіси на ньому стоять? Чи немає сервісів, чиї вимоги вищі за довіру до заліза під ними?
9. Коли знімався повний діагностичний звіт, скільки в ньому критичних зауважень і скільки з них висять більше року?
10. Чи вперлася платформа в конструктивну межу за ємністю, пам’яттю або швидкістю портів?
11. Чи пораховане енергоспоживання парку і скільки юнітів зайнято під задачі, які сьогодні вирішуються вдвічі меншим обсягом?
12. Чи відомо, який прикладний софт працюватиме на цьому обладнанні через три роки і чи вимагатиме він такої платформи?

1. Is the actual composition of each system known from a document rather than from memory? And when was it last reconciled with reality?
2. What is the support end date for each item, and which date does it count from — delivery or commissioning?
3. What happens to access to updates and fixes once the contract ends, and who has verified that?
4. What does renewal cost as a percentage of the price of new equivalent equipment, and has anyone worked out that ratio this year?
5. Are there spares, what is in them, and when were the stocked items last tested for serviceability?
6. Do the spare drives match the installed ones — by model, capacity and encryption variant?
7. What is the remaining endurance of the flash components, and has anyone read it at all?
8. Which age does each system fall into on the scale, and what services sit on it? Are there services whose requirements exceed the trust level of the hardware beneath them?
9. When was the last full diagnostic report taken, how many critical findings does it contain, and how many of them have been open for over a year?
10. Has the platform hit a structural limit on capacity, memory or port speed?
11. Has the estate’s power consumption been calculated, and how many units are occupied by tasks that today could be handled by half the footprint?
12. Is it known what application software will run on this equipment in three years, and whether it will need this kind of platform at all?

10

ИтогПідсумокWrap-up

Вместо вывода

Замість висновку

In place of a conclusion

Возраст инфраструктуры — не проблема и не диагноз. Проблема начинается там, где возраст не учитывается: когда десятилетнему комплексу доверяют как новому, когда норматив восстановления написан для железа, которое его не вытянет, когда продление поддержки покупается по инерции без единого расчёта.

Вік інфраструктури — не проблема і не діагноз. Проблема починається там, де вік не враховується: коли десятирічному комплексу довіряють як новому, коли норматив відновлення написаний для заліза, яке його не витягне, коли продовження підтримки купується за інерцією без жодного розрахунку.

The age of infrastructure is neither a problem nor a diagnosis. The problem starts where age is not taken into account: when a ten-year-old system is trusted like a new one, when a recovery target is written for hardware that cannot meet it, when support renewal is bought out of inertia without a single calculation.

Шкала из четырёх возрастов нужна ровно для этого — не чтобы списывать всё подряд, а чтобы каждый комплекс стоял под нагрузкой, которую он в своём возрасте выдержит. Семилетний массив под архив — нормальное инженерное решение. Тот же массив под основную базу — отложенная авария.

Шкала з чотирьох віків потрібна саме для цього — не щоб списувати все підряд, а щоб кожен комплекс стояв під навантаженням, яке він у своєму віці витримає. Семирічний масив під архів — нормальне інженерне рішення. Той самий масив під основну базу — відкладена аварія.

The four-age scale exists precisely for this — not to decommission everything in sight, but so that each system carries a load it can bear at its age. A seven-year-old array for the archive is a sound engineering decision. The same array under the primary database is a deferred outage.

И последнее. Я вижу много парков, которые содержат годами из осторожности: менять страшно, миграция риск, а так работает. Осторожность здесь мнимая. Риск не исчезает от того, что решение отложено, он просто переезжает на момент, который вы не выбираете. Инфраструктуру нужно трезво оценивать и не бояться её наращивать и перестраивать — это дешевле, предсказуемее и в конечном счёте спокойнее, чем содержать то, во что вы сами уже не верите на сто процентов.

І останнє. Я бачу багато парків, які утримують роками з обережності: міняти страшно, міграція ризик, а так працює. Обережність тут удавана. Ризик не зникає від того, що рішення відкладене, він просто переїжджає на момент, який ви не обираєте. Інфраструктуру треба тверезо оцінювати і не боятися її нарощувати і перебудовувати — це дешевше, передбачуваніше і зрештою спокійніше, ніж утримувати те, у що ви самі вже не вірите на сто відсотків.

And finally. I see many estates kept running for years out of caution: replacing is scary, migration is a risk, and it works as it is. The caution here is illusory. The risk does not disappear because the decision was postponed — it simply moves to a moment you do not get to choose. Infrastructure should be assessed soberly, and there is no reason to fear growing or rebuilding it: that is cheaper, more predictable and ultimately calmer than maintaining something you yourself no longer trust a hundred per cent.