Последние полтора года рынок Средней Азии обсуждает в основном уход: с VMware на гиперконвергенцию и открытые платформы, с выделенной фабрики Fibre Channel на Ethernet, с ленты на флеш, из собственного машзала в аренду. Почти все выпуски этой серии так или иначе о развилках на этом пути. Но рядом существует другой мир, и он никуда не уходит.
Останні півтора року ринок Середньої Азії обговорює здебільшого відхід: із VMware на гіперконвергенцію і відкриті платформи, з виділеної фабрики Fibre Channel на Ethernet, зі стрічки на флеш, із власного машзалу в оренду. Майже всі випуски цієї серії так чи інакше про розвилки на цьому шляху. Але поруч існує інший світ, і він нікуди не йде.
For the past eighteen months the Central Asian market has mostly been discussing departures: from VMware to hyperconvergence and open platforms, from a dedicated Fibre Channel fabric to Ethernet, from tape to flash, from an owned machine hall to rented space. Nearly every issue of this series is in some way about the forks on that road. But alongside it there is another world, and it is not going anywhere.
В нём VMware работает на подписочных лицензиях, хранение подключено по Fibre Channel, резервные копии пишутся на дедуп-апплайнсы, а долгий архив уходит на ленту. Покупают всё это не в 2015 году, а сейчас: партиями по несколько десятков хостов и с кластером ИИ последнего поколения в той же очереди закупок.
У ньому VMware працює на передплатних ліцензіях, зберігання підключене по Fibre Channel, резервні копії пишуться на дедуп-аплайнси, а довгий архів іде на стрічку. Купують усе це не у 2015 році, а зараз: партіями по кілька десятків хостів і з кластером ШІ останнього покоління в тій самій черзі закупівель.
In it, VMware runs on subscription licences, storage connects over Fibre Channel, backups are written to dedup appliances, and the long archive goes to tape. None of it was bought in 2015: it is being bought now, in batches of several dozen hosts, with a current-generation AI cluster in the same procurement queue.
01
РамкаРамкаThe frame
Параллельный мир
Паралельний світ
A parallel world
Снаружи — цифровая экосистема для миллионов пользователей. Внутри — классика, купленная в 2026 году.
Зовні — цифрова екосистема для мільйонів користувачів. Усередині — класика, куплена у 2026 році.
On the outside, a digital ecosystem for millions of users. On the inside, classical architecture bought in 2026.
Снаружи это группа компаний с массовым цифровым продуктом. Приложение открывает счёт за пару минут, сервис работает без очередей и офисов, пользователей миллионы. Это витрина цифровой экосистемы в самом современном её понимании.
Зовні це група компаній із масовим цифровим продуктом. Застосунок відкриває рахунок за пару хвилин, сервіс працює без черг і офісів, користувачів мільйони. Це вітрина цифрової екосистеми в найсучаснішому її розумінні.
From the outside it is a group of companies with a mass-market digital product. The app opens an account in a couple of minutes, the service runs without queues or branches, and the users number in the millions. It is the shop window of a digital ecosystem in the most modern sense of the phrase.
Внутри работает классика: трёхуровневая архитектура, VMware по подписке, фабрика Fibre Channel, сеть на оборудовании первого эшелона, резервное копирование на дедуп-апплайнсы и многошкафная ленточная библиотека. Каждая новая потребность закрывается новым классом оборудования. Экономия на компонентах здесь не принята как метод.
Усередині працює класика: трирівнева архітектура, VMware за підпискою, фабрика Fibre Channel, мережа на обладнанні першого ешелону, резервне копіювання на дедуп-аплайнси і багатошафна стрічкова бібліотека. Кожна нова потреба закривається новим класом обладнання. Економія на компонентах тут не прийнята як метод.
Inside, it runs on the classics: a three-tier architecture, VMware on subscription, a Fibre Channel fabric, a network built on first-tier equipment, backup to dedup appliances and a multi-rack tape library. Every new need is met with a new class of equipment. Economising on components is not a method here.
Портрет ниже собирательный по форме, но вполне конкретный по содержанию: всё описанное есть в открытых источниках. Этот парк строили и обслуживают не мы. Задача — разобраться в его логике, а не оценивать чужой выбор, поэтому дальше без иронии. У этого мира есть своя последовательная логика, и она заслуживает разбора.
Портрет нижче збірний за формою, але цілком конкретний за змістом: усе описане є у відкритих джерелах. Цей парк будували й обслуговують не ми. Завдання — розібратися в його логіці, а не оцінювати чужий вибір, тому далі без іронії. У цього світу є своя послідовна логіка, і вона заслуговує на розбір.
The portrait below is composite in form but entirely concrete in substance: everything described is in the public record. This estate was neither built nor is it run by us. The aim is to understand its logic rather than judge somebody else’s choices, so what follows carries no irony. This world has a consistent logic of its own, and it deserves examination.
02
ВычисленияОбчисленняCompute
Хосты партиями
Хости партіями
Hosts in batches
Сотни хостов, волны по несколько десятков, одна конфигурация у двух производителей сразу.
Сотні хостів, хвилі по кілька десятків, одна конфігурація у двох виробників одразу.
Hundreds of hosts, waves of several dozen, one configuration quoted by two manufacturers at once.
Парк виртуализации измеряется сотнями хостов, и растёт он волнами по несколько десятков одинаковых серверов. Типовой хост последней волны — 1U, два процессора по 32 ядра, около 1,5 TB памяти и ни одного диска данных. Загрузка идёт с зеркальной пары M.2, а наружу выведены два двухпортовых адаптера на 32G и два двухпортовых адаптера 25GbE.
Парк віртуалізації вимірюється сотнями хостів, і зростає він хвилями по кілька десятків однакових серверів. Типовий хост останньої хвилі — 1U, два процесори по 32 ядра, близько 1,5 TB пам’яті і жодного диска даних. Завантаження йде з дзеркальної пари M.2, а назовні виведені два двопортові адаптери на 32G і два двопортові адаптери 25GbE.
The virtualisation estate is measured in hundreds of hosts and grows in waves of several dozen identical servers. A typical host from the latest wave is 1U, two 32-core processors, about 1.5 TB of memory and not a single data disk. It boots from a mirrored pair of M.2 drives, and what faces outward is two dual-port 32G adapters and two dual-port 25GbE adapters.
Ядра подписки на волну из 50 двухсокетных хостов при разном числе ядер на процессорЯдра підписки на хвилю з 50 двосокетних хостів за різної кількості ядер на процесорSubscription cores for a wave of 50 dual-socket hosts at different core counts per processor
Подписка считает минимум 16 ядер на процессор, поэтому вилка по одной волне получается шестикратной.Підписка рахує мінімум 16 ядер на процесор, тому вилка за однією хвилею виходить шестикратною.The subscription counts a minimum of 16 cores per processor, so the spread across a single wave comes out sixfold.
В этом описании важны три детали. Первая — хост без дисков. Данные живут на массивах, хост только считает. Отказавший сервер выводится из кластера и заменяется новым с тем же профилем за час. То есть хост здесь расходник, а не место хранения.
У цьому описі важливі три деталі. Перша — хост без дисків. Дані живуть на масивах, хост лише рахує. Сервер, що відмовив, виводиться з кластера і замінюється новим із тим самим профілем за годину. Тобто хост тут видатковий матеріал, а не місце зберігання.
Three details in that description matter. The first is the diskless host. The data lives on the arrays; the host only computes. A failed server is taken out of the cluster and replaced by a new one with the same profile within an hour. The host here is a consumable, not a place where data is kept.
Хост без дисков — расходник. Его меняют, не задумываясь, потому что данные живут не на нём.
Хост без дисків — видатковий матеріал. Його міняють, не замислюючись, бо дані живуть не на ньому.
A diskless host is a consumable. It gets replaced without a second thought, because the data does not live on it.
Вторая — одна и та же конфигурация запрашивается у двух производителей сразу. В одной закупке лежат практически идентичные спецификации на Dell PowerEdge и HPE ProLiant: тот же процессор, тот же объём памяти, тот же набор адаптеров. Выигрывает тот, кто даст лучшие условия и срок поставки. Кластеру безразлично, чей шильдик на корпусе, а закупке это даёт защиту от дефицита и от зависимости от одного вендора.
Друга — одна й та сама конфігурація запитується у двох виробників одразу. В одній закупівлі лежать практично ідентичні специфікації на Dell PowerEdge і HPE ProLiant: той самий процесор, той самий обсяг пам’яті, той самий набір адаптерів. Виграє той, хто дасть кращі умови і строк постачання. Кластеру байдуже, чий шильдик на корпусі, а закупівлі це дає захист від дефіциту і від залежності від одного вендора.
The second is that one and the same configuration is quoted by two manufacturers at once. A single purchase contains practically identical specifications for Dell PowerEdge and HPE ProLiant: the same processor, the same memory, the same set of adapters. Whoever offers the better terms and lead time wins. The cluster does not care whose badge is on the chassis, and procurement gains protection from shortages and from dependence on one vendor.
Третья — выбор середины по ядрам. В выпуске 08 мы писали, что лицензирование по физическим ядрам тянет к процессорам с меньшим числом ядер, а в выпуске 10 — что питание и плотность тянут в обратную сторону. Здесь выбор сделан посередине: 32 ядра на сокет, 64 на хост. Подписка считает минимум 16 ядер на процессор, так что вилка для волны из 50 хостов идёт от 1600 ядер подписки на самых скромных процессорах до 9600 на 96-ядерных. Выбранная середина даёт 3200, и это только одна волна.
Третя — вибір середини за ядрами. У випуску 08 ми писали, що ліцензування за фізичними ядрами тягне до процесорів із меншою кількістю ядер, а у випуску 10 — що живлення і щільність тягнуть у зворотний бік. Тут вибір зроблений посередині: 32 ядра на сокет, 64 на хост. Підписка рахує мінімум 16 ядер на процесор, тож вилка для хвилі з 50 хостів іде від 1600 ядер підписки на найскромніших процесорах до 9600 на 96-ядерних. Обрана середина дає 3200, і це лише одна хвиля.
The third is the middle path on cores. In issue 08 we wrote that licensing by physical cores pulls towards processors with fewer cores, and in issue 10 that power and density pull the other way. Here the choice sits in the middle: 32 cores per socket, 64 per host. The subscription counts a minimum of 16 cores per processor, so for a wave of 50 hosts the spread runs from 1600 subscription cores on the most modest processors to 9600 on 96-core parts. The middle option gives 3200 — and that is one wave only.
К этому же решению относится память. На хосте 64 ядра и около 1,5 TB памяти, то есть примерно 24 GB на ядро. Подписка считается по ядрам, а память в неё не входит, поэтому её выгодно набирать по максимуму, а ядра держать в середине. В выпуске 08 мы называли это неизменным лицензионным периметром: машины получают больше ресурсов, а счёт за подписку не растёт.
До цього ж рішення належить пам’ять. На хості 64 ядра і близько 1,5 TB пам’яті, тобто приблизно 24 GB на ядро. Підписка рахується за ядрами, а пам’ять до неї не входить, тому її вигідно набирати по максимуму, а ядра тримати в середині. У випуску 08 ми називали це незмінним ліцензійним периметром: машини отримують більше ресурсів, а рахунок за підписку не зростає.
Memory belongs to the same decision. The host has 64 cores and about 1.5 TB of memory, roughly 24 GB per core. The subscription is counted by cores and memory is outside it, so it pays to fill the memory to the maximum while keeping the core count in the middle. In issue 08 we called this an unchanged licensing perimeter: the machines get more resources and the subscription bill does not grow.
03
Сеть храненияМережа зберіганняThe storage network
Фабрика, которую не выключают
Фабрика, яку не вимикають
The fabric nobody switches off
Fibre Channel здесь не наследство, а выбор: его расширяют, а не доживают.
Fibre Channel тут не спадок, а вибір: його розширюють, а не доживають.
Fibre Channel here is a choice rather than a legacy: it is being extended, not seen out.
Хранение подключено к хостам по Fibre Channel через две независимые фабрики. Фабрику не перестраивают и не заменяют на Ethernet, её расширяют. Новые коммутаторы ставятся текущего поколения с оптикой 32G, а порты добавляются лицензиями по восемь штук за раз. То есть растёт ёмкость той же топологии, к которой уже привыкли эксплуатация, мониторинг и процедуры.
Зберігання підключене до хостів по Fibre Channel через дві незалежні фабрики. Фабрику не перебудовують і не замінюють на Ethernet, її розширюють. Нові комутатори ставляться поточного покоління з оптикою 32G, а порти додаються ліцензіями по вісім штук за раз. Тобто зростає ємність тієї самої топології, до якої вже звикли експлуатація, моніторинг і процедури.
Storage connects to the hosts over Fibre Channel through two independent fabrics. The fabric is not rebuilt and not replaced by Ethernet; it is extended. New switches are of the current generation with 32G optics, and ports are added by licence, eight at a time. What grows is the capacity of the same topology that operations, monitoring and procedures are already used to.
Деталь, которая хорошо показывает логику: новые коммутаторы относятся к поколению 64G, но приходят с оптикой 32G — под те адаптеры, что стоят в хостах. Скорость фабрики можно будет поднять позже, заменой оптики и адаптеров, не трогая сами коммутаторы. Фабрику покупают на вырост, а платят за ту скорость, которая нужна сейчас.
Деталь, яка добре показує логіку: нові комутатори належать до покоління 64G, але приходять з оптикою 32G — під ті адаптери, що стоять у хостах. Швидкість фабрики можна буде підняти пізніше, заміною оптики й адаптерів, не чіпаючи самі комутатори. Фабрику купують на виріст, а платять за ту швидкість, яка потрібна зараз.
A detail that captures the logic nicely: the new switches belong to the 64G generation but arrive with 32G optics, matched to the adapters installed in the hosts. The fabric speed can be raised later by replacing optics and adapters without touching the switches themselves. The fabric is bought with headroom and paid for at the speed needed now.
В выпуске 09 мы показывали, что при уходе с VMware выделенную фабрику Fibre Channel часто можно убрать и отдать её полосу Ethernet на 25G и 100G. Здесь логика обратная, и она последовательна. Fibre Channel даёт предсказуемую задержку, физически отделяет трафик хранения от остальной сети и опирается на компетенции, которые у команды уже есть и которые легко найти на рынке. Пока основная платформа трёхуровневая, отказываться от него незачем.
У випуску 09 ми показували, що при відході від VMware виділену фабрику Fibre Channel часто можна прибрати і віддати її смугу Ethernet на 25G і 100G. Тут логіка зворотна, і вона послідовна. Fibre Channel дає передбачувану затримку, фізично відділяє трафік зберігання від решти мережі й спирається на компетенції, які в команди вже є і які легко знайти на ринку. Поки основна платформа трирівнева, відмовлятися від нього немає навіщо.
In issue 09 we showed that when leaving VMware the dedicated Fibre Channel fabric can often be removed and its bandwidth handed to 25G and 100G Ethernet. Here the logic runs the other way, and it is consistent. Fibre Channel gives predictable latency, physically separates storage traffic from the rest of the network, and rests on skills the team already has and that are easy to hire. While the main platform is three-tier, there is no reason to give it up.
Однако за это приходится платить. Первое — две сети вместо одной: отдельные коммутаторы, отдельная кабельная система и отдельные контракты поддержки. Второе — отдельный набор знаний, который нужно держать в команде. Этот мир платит за обе позиции осознанно.
Однак за це доводиться платити. Перше — дві мережі замість однієї: окремі комутатори, окрема кабельна система й окремі контракти підтримки. Друге — окремий набір знань, який треба тримати в команді. Цей світ платить за обидві позиції усвідомлено.
There is a price for it, though. First, two networks instead of one: separate switches, separate cabling and separate support contracts. Second, a separate body of knowledge that has to be kept in the team. This world pays for both deliberately.
04
ХранениеЗберіганняStorage
Своя полка на каждую задачу
Своя полиця на кожну задачу
A shelf of its own for every task
Новая потребность не втискивается в существующий массив — под неё покупается новый класс.
Нова потреба не втискується в наявний масив — під неї купується новий клас.
A new need is not squeezed into an existing array — a new class is bought for it.
Массивов в этом мире десятки, и разброс поколений идёт от гибридных систем с вращающимися дисками до новейших all-NVMe. Новая потребность не втискивается в существующий массив: под неё покупается новый, подходящий по классу. Судя по открытым описаниям вакансий, рядом работают массивы как минимум двух производителей и отдельное объектное хранилище, то есть разнородность здесь не только по поколениям, но и по вендорам.
Масивів у цьому світі десятки, і розкид поколінь іде від гібридних систем з обертовими дисками до найновіших all-NVMe. Нова потреба не втискується в наявний масив: під неї купується новий, відповідний за класом. Судячи з відкритих описів вакансій, поруч працюють масиви щонайменше двох виробників і окреме об’єктне сховище, тобто різнорідність тут не лише за поколіннями, а й за вендорами.
There are dozens of arrays in this world, spanning generations from hybrid systems with spinning disks to the newest all-NVMe. A new need is not squeezed into an existing array: a new one of the appropriate class is bought for it. Judging by public job descriptions, arrays from at least two manufacturers run side by side along with separate object storage — so the heterogeneity here is not only across generations but across vendors.
Карта хранения: блок, файл и объект, локальный NVMe, копии и архив под общим слоем гипервизораКарта зберігання: блок, файл та об’єкт, локальний NVMe, копії та архів під спільним шаром гіпервізораThe storage map: block, file and object, local NVMe, copies and archive under one hypervisor layer
Новая потребность не втискивается в существующий массив — под неё покупается новый класс.Нова потреба не втискується в наявний масив — під неї купується новий клас.A new need is not squeezed into an existing array — a new class is bought for it.
| КлассКласClass | Что стоитЩо стоїтьWhat is installed | Под какую задачуПід яку задачуFor what workload |
|---|---|---|
| Блочный массивБлоковий масивBlock array | all-NVMe парой на каждую компанию группыall-NVMe парою на кожну компанію групиan all-NVMe pair for each company of the group | основная нагрузка виртуальных машиносновне навантаження віртуальних машинthe main virtual-machine workload |
| Файл и объектФайл та об’єктFile and object | отдельная платформа, старшая модель сразу с внешними фабричными модулямиокрема платформа, старша модель одразу із зовнішніми фабричними модулямиa separate platform, the larger model fitted with external fabric modules from the start | рост в несколько шасси без замены системызростання в кілька шасі без заміни системиgrowth into several chassis without replacing the system |
| Локальный NVMeЛокальний NVMeLocal NVMe | серверы с десятью накопителями по 7,68 TBсервери з десятьма накопичувачами по 7,68 TBservers with ten 7.68 TB drives | отдельный контур на распределённом храненииокремий контур на розподіленому зберіганніa separate environment on distributed storage |
| Гибридные системы прошлых поколенийГібридні системи минулих поколіньHybrid systems of earlier generations | десятки массивов, от вращающихся дисков до all-flashдесятки масивів, від обертових дисків до all-flashdozens of arrays, from spinning disks to all-flash | нагрузки, которые не требуют нового классанавантаження, які не потребують нового класуworkloads that do not call for a new class |
| Копии и архивКопії та архівCopies and archive | дедуп-апплайнсы на обеих площадках и многошкафная лентадедуп-аплайнси на обох майданчиках і багатошафна стрічкаdedup appliances on both sites and a multi-rack tape library | резервное копирование и долгое хранениерезервне копіювання і довге зберіганняbackup and long-term retention |
Принцип «своя полка на каждую задачу» виден и по структуре группы. Каждая компания внутри неё получает собственный блочный массив и собственную платформу для файлов и объектов. В последних закупках это Pure Storage: FlashArray парой под блочную нагрузку и FlashBlade парой под объект и файл. Старшая модель сразу ставится с внешними фабричными модулями, чтобы потом расти в несколько шасси. Отдельно существует контур на локальном NVMe — серверы с десятью накопителями по 7,68 TB.
Принцип «своя полиця на кожну задачу» видно і за структурою групи. Кожна компанія всередині неї отримує власний блоковий масив і власну платформу для файлів та об’єктів. В останніх закупівлях це Pure Storage: FlashArray парою під блокове навантаження і FlashBlade парою під об’єкт і файл. Старша модель одразу ставиться із зовнішніми фабричними модулями, щоб потім рости в кілька шасі. Окремо існує контур на локальному NVMe — сервери з десятьма накопичувачами по 7,68 TB.
The “a shelf of its own for every task” principle shows in the structure of the group as well. Each company inside it gets its own block array and its own platform for files and objects. In the latest purchases that is Pure Storage: a FlashArray pair for block workloads and a FlashBlade pair for object and file. The larger model is fitted with external fabric modules from the outset so that it can later grow into several chassis. Separately there is an environment on local NVMe — servers with ten 7.68 TB drives.
Разнородностью здесь управляет VMware. Перенос машин между массивами идёт без остановки, политики хранения выбирают класс носителя, а гипервизор выступает общим знаменателем для всего, что стоит ниже. Без этого слоя десятки массивов превратились бы в десятки островов.
Різнорідністю тут керує VMware. Перенесення машин між масивами йде без зупинки, політики зберігання обирають клас носія, а гіпервізор виступає спільним знаменником для всього, що стоїть нижче. Без цього шару десятки масивів перетворилися б на десятки островів.
The heterogeneity here is managed by VMware. Machines move between arrays without downtime, storage policies select the media class, and the hypervisor acts as the common denominator for everything beneath it. Without that layer, dozens of arrays would turn into dozens of islands.
Цена этого — десятки жизненных циклов. У каждого массива свой срок поддержки, своя матрица совместимости прошивок, своя консоль и свой инженер вендора на эскалации. В выпуске 11 мы писали про парк, который нарастает слоями. Здесь те же слои, только каждый куплен новым и стоит на поддержке.
Ціна цього — десятки життєвих циклів. У кожного масиву свій строк підтримки, своя матриця сумісності прошивок, своя консоль і свій інженер вендора на ескалації. У випуску 11 ми писали про парк, який наростає шарами. Тут ті самі шари, тільки кожен куплений новим і стоїть на підтримці.
The price of this is dozens of life cycles. Every array has its own support term, its own firmware compatibility matrix, its own console and its own vendor engineer on escalation. In issue 11 we wrote about an estate that accumulates in layers. The layers here are the same — except each one was bought new and sits under support.
05
Вторая площадкаДругий майданчикThe second site
Две скорости репликации
Дві швидкості реплікації
Two speeds of replication
Синхронно — там, где ошибка стоит секунд транзакций. Асинхронно — всё остальное.
Синхронно — там, де помилка коштує секунд транзакцій. Асинхронно — все інше.
Synchronous where an error costs seconds of transactions. Asynchronous for everything else.
Вторая площадка получает основной объём данных асинхронно. Точка восстановления измеряется минутами, канал не определяет задержку записи на основной площадке, а дистанцию между площадками можно выбирать по рискам, а не по физике синхронной записи. В выпуске 07 мы считали предел синхронной схемы на 50 и на 600 км. Для основного парка этот вопрос здесь просто не стоит.
Другий майданчик отримує основний обсяг даних асинхронно. Точка відновлення вимірюється хвилинами, канал не визначає затримку запису на основному майданчику, а дистанцію між майданчиками можна обирати за ризиками, а не за фізикою синхронного запису. У випуску 07 ми рахували межу синхронної схеми на 50 і на 600 км. Для основного парку це питання тут просто не стоїть.
The second site receives the bulk of the data asynchronously. The recovery point is measured in minutes, the link does not dictate write latency on the primary site, and the distance between the sites can be chosen by risk rather than by the physics of synchronous writes. In issue 07 we worked out the limit of a synchronous design at 50 and at 600 km. For the main estate here, that question simply does not arise.
Рядом работает синхронный контур. Массивы держат данные одновременно на двух площадках там, где потеря даже нескольких секунд транзакций дороже, чем добавочная задержка записи. Это та часть, ради которой пользователь и открывает приложение.
Поруч працює синхронний контур. Масиви тримають дані одночасно на двох майданчиках там, де втрата навіть кількох секунд транзакцій дорожча, ніж додаткова затримка запису. Це та частина, заради якої користувач і відкриває застосунок.
Alongside it runs a synchronous environment. The arrays hold the data on both sites at once wherever losing even a few seconds of transactions costs more than the extra write latency. That is the part the user opens the app for.
Почему синхронный контур держится на массивах, а не на средствах самой виртуализации? Растянутый кластер на распределённом хранилище платформы существует. А вот репликация на удалённую площадку с оркестрацией переключения в базовую подписку не входит: для неё нужен отдельный продукт восстановления или дополнение, доступное только в старшей редакции. Когда хранение и так живёт на внешних массивах с Fibre Channel, а массивы умеют синхронную пару сами, логичнее отдать репликацию им. Гипервизору остаются перезапуск машин и планы переключения.
Чому синхронний контур тримається на масивах, а не на засобах самої віртуалізації? Розтягнутий кластер на розподіленому сховищі платформи існує. А ось реплікація на віддалений майданчик з оркестрацією перемикання в базову підписку не входить: для неї потрібен окремий продукт відновлення або доповнення, доступне лише у старшій редакції. Коли зберігання і так живе на зовнішніх масивах із Fibre Channel, а масиви вміють синхронну пару самі, логічніше віддати реплікацію їм. Гіпервізору залишаються перезапуск машин і плани перемикання.
Why does the synchronous environment rest on the arrays rather than on the virtualisation platform’s own tools? A stretched cluster on the platform’s distributed storage does exist. But replication to a remote site with failover orchestration is not in the base subscription: it needs either a separate recovery product or an add-on available only in the top edition. When storage already lives on external arrays over Fibre Channel, and the arrays can maintain a synchronous pair themselves, it is more sensible to leave replication to them. What remains for the hypervisor is restarting machines and the failover plans.
То есть репликация разделена по цене ошибки. Синхронная схема стоит дорого и по железу, и по каналу, поэтому применяется к контуру, где точка восстановления должна быть нулевой. Всё остальное живёт на асинхронной схеме с понятными планами восстановления. Деньги позволили бы сделать синхронным всё, но этот мир так не делает, и это хороший признак: разделение здесь продиктовано инженерной логикой, а не бюджетом.
Тобто реплікація розділена за ціною помилки. Синхронна схема коштує дорого і за залізом, і за каналом, тому застосовується до контуру, де точка відновлення має бути нульовою. Усе інше живе на асинхронній схемі із зрозумілими планами відновлення. Гроші дозволили б зробити синхронним усе, але цей світ так не робить, і це добра ознака: поділ тут продиктований інженерною логікою, а не бюджетом.
So replication is split by the cost of the error. A synchronous design is expensive in both hardware and bandwidth, so it is applied to the environment where the recovery point has to be zero. Everything else lives on the asynchronous design with clear recovery plans. The money would allow everything to be synchronous, but this world does not do that, and that is a good sign: the split here is dictated by engineering logic rather than by budget.
06
Резервное копированиеРезервне копіюванняBackup
Бэкап по учебнику
Бекап за підручником
Backup by the book
Дедуп-апплайнсы на каждой площадке и многошкафная лента — лестница защиты целиком.
Дедуп-аплайнси на кожному майданчику і багатошафна стрічка — драбина захисту цілком.
Dedup appliances on each site and a multi-rack tape library — the whole protection ladder.
Резервное копирование построено так, как его рисуют в учебных курсах вендоров. Система копирования снимает машины и пишет копии на дедуп-апплайнс через его собственный протокол. Дедупликация начинается на стороне источника, и в сеть уходят только уникальные блоки. На каждой площадке стоит свой апплайнс, а штатная репликация передаёт между ними уже дедуплицированные данные. Ёмкость куплена вечными лицензиями, поддержка — на 5 лет вперёд. Апплайнсы ставятся без внутреннего кластера высокой доступности: резервом служит вторая площадка, а не второй контроллер.
Резервне копіювання побудоване так, як його малюють у навчальних курсах вендорів. Система копіювання знімає машини і пише копії на дедуп-аплайнс через його власний протокол. Дедуплікація починається на боці джерела, і в мережу йдуть лише унікальні блоки. На кожному майданчику стоїть свій аплайнс, а штатна реплікація передає між ними вже дедупліковані дані. Ємність куплена вічними ліцензіями, підтримка — на 5 років уперед. Аплайнси ставляться без внутрішнього кластера високої доступності: резервом служить другий майданчик, а не другий контролер.
Backup is built exactly the way vendor training courses draw it. The backup system takes the machines and writes the copies to a dedup appliance over the appliance’s own protocol. Deduplication starts on the source side, and only unique blocks go onto the network. Each site has its own appliance, and the native replication passes already-deduplicated data between them. The capacity was bought on perpetual licences, with support paid five years ahead. The appliances are deployed without an internal high-availability cluster: the standby is the second site, not a second controller.
Долгосрочное хранение уходит на ленту. Большая многошкафная библиотека — последняя ступень лестницы, о которой мы писали в выпуске 13. Она самая дешёвая по терабайту, самая медленная на восстановление и физически отделена от всего, что можно зашифровать удалённо.
Довгострокове зберігання йде на стрічку. Велика багатошафна бібліотека — останній щабель драбини, про яку ми писали у випуску 13. Вона найдешевша за терабайт, найповільніша на відновлення і фізично відділена від усього, що можна зашифрувати віддалено.
Long-term retention goes to tape. The large multi-rack library is the last rung of the ladder we described in issue 13. It is the cheapest per terabyte, the slowest to restore from, and physically separated from everything that can be encrypted remotely.
Лестница защиты: от синхронной пары до ленточной библиотеки, качественная оценкаДрабина захисту: від синхронної пари до стрічкової бібліотеки, якісна оцінкаThe protection ladder: from a synchronous pair to the tape library, a qualitative view
Каждая ступень применяется там, где её цена оправдана ценой ошибки.Кожен щабель застосовується там, де його ціна виправдана ціною помилки.Each rung is applied where its cost is justified by the cost of the error.
| СтупеньЩабельRung | Точка восстановленияТочка відновленняRecovery point | Скорость возвратаШвидкість поверненняSpeed of return | Где применяетсяДе застосовуєтьсяWhere it is used |
|---|---|---|---|
| Синхронная пара массивовСинхронна пара масивівA synchronous array pair | нольнульzero | без простоябез простоюno outage | контур, где секунды транзакций дороже задержки записиконтур, де секунди транзакцій дорожчі за затримку записуthe environment where seconds of transactions cost more than write latency |
| Асинхронная репликация на вторую площадкуАсинхронна реплікація на другий майданчикAsynchronous replication to the second site | минутыхвилиниminutes | десятки минутдесятки хвилинtens of minutes | основной объём данныхосновний обсяг данихthe bulk of the data |
| Копии на дедуп-апплайнсКопії на дедуп-аплайнсCopies on a dedup appliance | сутки и чащедоба і частішеa day or less | часыгодиниhours | восстановление машин и файловвідновлення машин і файлівrestoring machines and files |
| Репликация копий между площадкамиРеплікація копій між майданчикамиReplicating the copies between sites | суткидобаa day | часыгодиниhours | потеря площадки вместе с её апплайнсомвтрата майданчика разом із його аплайнсомthe loss of a site together with its appliance |
| Ленточная библиотекаСтрічкова бібліотекаThe tape library | сутки и режедоба і рідшеa day or more | часы и днигодини і дніhours and days | долгий архив и физический разрыв с сетьюдовгий архів і фізичний розрив із мережеюthe long archive and a physical gap from the network |
В выпуске 13 мы оставили открытым вопрос, нужны ли дедуп-апплайнсы как класс, если дедупликация уже есть на медиа-сервере. В этом мире ответ однозначный: нужны. Если масштаб — сотни хостов, а бюджет позволяет, апплайнс даёт глобальную дедупликацию по всем заданиям, предсказуемую скорость приёма и репликацию, которой не нужно управлять отдельно. Решение не для всех, но внутри своей логики оно цельное.
У випуску 13 ми залишили відкритим питання, чи потрібні дедуп-аплайнси як клас, якщо дедуплікація вже є на медіа-сервері. У цьому світі відповідь однозначна: потрібні. Якщо масштаб — сотні хостів, а бюджет дозволяє, аплайнс дає глобальну дедуплікацію за всіма завданнями, передбачувану швидкість приймання і реплікацію, якою не потрібно керувати окремо. Рішення не для всіх, але всередині своєї логіки воно цілісне.
In issue 13 we left open the question of whether dedup appliances are needed as a class when the media server already deduplicates. In this world the answer is unambiguous: they are. At the scale of hundreds of hosts, and with the budget to allow it, the appliance gives global deduplication across all jobs, a predictable ingest rate and replication that needs no separate management. Not a decision for everyone, but within its own logic it is coherent.
07
Безопасность и доставкаБезпека і доставкаSecurity and delivery
Периметр и доставка — тоже на гипервизоре
Периметр і доставка — теж на гіпервізорі
The perimeter and delivery also sit on the hypervisor
Межсетевые экраны, балансировщики, защита приложений и гостевые Linux — всё держится на VMware.
Міжмережеві екрани, балансувальники, захист застосунків і гостьові Linux — усе тримається на VMware.
Firewalls, load balancers, application protection and guest Linux — all of it rests on VMware.
На границе стоят аппаратные межсетевые экраны того же производителя, что и сеть, а сервер их централизованного управления развёрнут как машина на VMware. Балансировщики и средства защиты приложений куплены в виде виртуальных апплайнсов и тоже работают на VMware. Гостевые Linux лицензируются по модели «на хост гипервизора»: одна подписка закрывает любое число машин на двухсокетном сервере.
На межі стоять апаратні міжмережеві екрани того самого виробника, що й мережа, а сервер їхнього централізованого управління розгорнутий як машина на VMware. Балансувальники і засоби захисту застосунків куплені у вигляді віртуальних аплайнсів і теж працюють на VMware. Гостьові Linux ліцензуються за моделлю «на хост гіпервізора»: одна підписка закриває будь-яку кількість машин на двосокетному сервері.
At the boundary sit hardware firewalls from the same manufacturer as the network, while their central management server is deployed as a virtual machine on VMware. The load balancers and application protection are bought as virtual appliances and also run on VMware. Guest Linux is licensed per hypervisor host: one subscription covers any number of machines on a dual-socket server.
То есть VMware здесь не просто гипервизор. На нём держатся безопасность, доставка приложений, лицензирование гостевых операционных систем и управление сетью. Уход с него был бы многолетней программой, которая затронула бы каждый слой, а не проектом миграции машин. Поэтому мир и не уходит: если считать не только подписку, но и всё, что на ней стоит, решение остаться выходит дешевле решения уйти.
Тобто VMware тут не просто гіпервізор. На ньому тримаються безпека, доставка застосунків, ліцензування гостьових операційних систем і управління мережею. Відхід від нього був би багаторічною програмою, яка зачепила б кожен шар, а не проєктом міграції машин. Тому світ і не йде: якщо рахувати не лише підписку, а й усе, що на ній стоїть, рішення залишитися виходить дешевшим за рішення піти.
So VMware here is not merely a hypervisor. Security, application delivery, guest operating system licensing and network management all rest on it. Leaving it would be a multi-year programme touching every layer, not a machine-migration project. Which is why this world does not leave: counting not only the subscription but everything standing on it, the decision to stay comes out cheaper than the decision to go.
Когда на гипервизоре живут периметр, балансировка и лицензии гостевых систем, уход — это не миграция, а перестройка.
Коли на гіпервізорі живуть периметр, балансування і ліцензії гостьових систем, відхід — це не міграція, а перебудова.
When the perimeter, the load balancing and the guest licences all live on the hypervisor, leaving is not a migration but a rebuild.
08
СредыСередовищаEnvironments
Тест за стенкой
Тест за стінкою
Test behind a wall
Граница между тестом и продуктивом проведена не в VLAN, а в шкафах.
Межа між тестом і продуктивом проведена не у VLAN, а в шафах.
The line between test and production is drawn in cabinets rather than in VLANs.
Тестовая зона отделена от основной физически: отдельный шкаф, свои хосты, свои коммутаторы. Логическое разделение через VLAN и отдельные кластеры здесь достаточным не считается.
Тестова зона відділена від основної фізично: окрема шафа, свої хости, свої комутатори. Логічний поділ через VLAN і окремі кластери тут достатнім не вважається.
The test zone is separated from the main one physically: its own cabinet, its own hosts, its own switches. Logical separation through VLANs and separate clusters is not considered sufficient here.
Логика понятна. Физическая граница исключает случайное пересечение тестового трафика с продуктивом, упрощает аудит и разговор с регулятором. Изменения проходят через стенд, который не делит с продуктивом ни одного порта.
Логіка зрозуміла. Фізична межа виключає випадковий перетин тестового трафіку з продуктивом, спрощує аудит і розмову з регулятором. Зміни проходять через стенд, який не ділить із продуктивом жодного порту.
The logic is clear. A physical boundary rules out any accidental crossing of test traffic into production and simplifies both the audit and the conversation with the regulator. Changes go through a rig that shares not a single port with production.
Однако у такой границы есть цена. Железо, которое большую часть времени загружено частично, занимает место, питание и контракты поддержки наравне с продуктивным. При сотнях продуктивных хостов тестовый шкаф составляет малую долю парка, и мир эту долю спокойно оплачивает.
Однак у такої межі є ціна. Залізо, яке більшу частину часу завантажене частково, займає місце, живлення і контракти підтримки нарівні з продуктивним. За сотень продуктивних хостів тестова шафа становить малу частку парку, і світ цю частку спокійно оплачує.
Such a boundary has a price, though. Hardware that is only partly loaded most of the time takes up space, power and support contracts on the same terms as production. At hundreds of production hosts the test cabinet is a small share of the estate, and this world pays that share without blinking.
09
ПрактикиПрактикиPractices
Современное внутри классики
Сучасне всередині класики
Modern practice inside classical architecture
Описание инфраструктуры кодом и ванильный Kubernetes поверх VMware: современное не обязано быть новым.
Опис інфраструктури кодом і ванільний Kubernetes поверх VMware: сучасне не зобов’язане бути новим.
Infrastructure as code and vanilla Kubernetes on top of VMware: modern does not have to mean new.
Самая неожиданная деталь портрета — то, как этот мир работает с изменениями. Инфраструктура описывается кодом: Terraform с провайдером vSphere создаёт машины, сети и политики. Контейнерные нагрузки работают в ванильном Kubernetes, развёрнутом на обычных машинах поверх VMware, а хранение для подов выдаётся через драйвер vSphere. Никаких фирменных дистрибутивов, просто кластеры на машинах.
Найнесподіваніша деталь портрета — те, як цей світ працює зі змінами. Інфраструктура описується кодом: Terraform із провайдером vSphere створює машини, мережі й політики. Контейнерні навантаження працюють у ванільному Kubernetes, розгорнутому на звичайних машинах поверх VMware, а зберігання для подів видається через драйвер vSphere. Жодних фірмових дистрибутивів, просто кластери на машинах.
The most unexpected detail of the portrait is how this world handles change. The infrastructure is described in code: Terraform with the vSphere provider creates machines, networks and policies. Container workloads run on vanilla Kubernetes deployed on ordinary machines on top of VMware, with storage presented to the pods through the vSphere driver. No branded distributions — just clusters on virtual machines.
У этого выбора есть практическое объяснение. Как мы писали в выпуске 14, отдельная линейка контейнерной платформы вендора закончилась, а её преемник работает только поверх собственного слоя управления, то есть привязан к тому, как вендор развивает контейнерную часть. Ванильный Kubernetes на обычных машинах от этого не зависит: его можно обновлять в своём темпе, а при желании перенести на другую платформу вместе с манифестами и кодом описания инфраструктуры.
У цього вибору є практичне пояснення. Як ми писали у випуску 14, окрема лінійка контейнерної платформи вендора закінчилася, а її наступник працює лише поверх власного шару управління, тобто прив’язаний до того, як вендор розвиває контейнерну частину. Ванільний Kubernetes на звичайних машинах від цього не залежить: його можна оновлювати у своєму темпі, а за бажання перенести на іншу платформу разом із маніфестами і кодом опису інфраструктури.
There is a practical explanation for the choice. As we wrote in issue 14, the vendor’s standalone container-platform line has ended, and its successor runs only on top of the vendor’s own management layer — which ties it to how the vendor develops the container side. Vanilla Kubernetes on ordinary machines does not depend on that: it can be updated at your own pace and, if you choose, moved to another platform together with the manifests and the infrastructure code.
В выпуске 14 мы утверждали, что инструменты автоматизации переживают уход с VMware и что мир на VMware не заканчивается. Здесь тот же тезис виден с обратной стороны: современные практики не требуют новой платформы. Декларативное описание инфраструктуры и контейнерная оркестрация прекрасно работают на классике. Связь между «современным» и «новым» слабее, чем принято думать.
У випуску 14 ми стверджували, що інструменти автоматизації переживають відхід від VMware і що світ на VMware не закінчується. Тут та сама теза видна зі зворотного боку: сучасні практики не потребують нової платформи. Декларативний опис інфраструктури і контейнерна оркестрація чудово працюють на класиці. Зв’язок між «сучасним» і «новим» слабший, ніж прийнято думати.
In issue 14 we argued that automation tooling survives a departure from VMware and that the world does not end with VMware. Here the same proposition shows from the other side: modern practice does not require a new platform. Declarative infrastructure and container orchestration work perfectly well on the classics. The link between “modern” and “new” is weaker than people assume.
10
Нагрузки ИИНавантаження ШІAI workloads
ИИ сразу флагманом
ШІ одразу флагманом
Straight to the flagship for AI
Без пилота и промежуточных поколений — сразу кластер последнего поколения и отдельная фабрика 400/800G.
Без пілота і проміжних поколінь — одразу кластер останнього покоління і окрема фабрика 400/800G.
No pilot, no intermediate generations — straight to a current-generation cluster and a dedicated 400/800G fabric.
Когда понадобились вычисления для ИИ, этот мир не стал проходить промежуточные ступени. Обычный путь идёт от пары карт в обычном сервере через пилотный узел к кластеру. Здесь не было ни пилота, ни промежуточных поколений: сразу закупается кластер меньше чем из десятка узлов по 8 ускорителей последнего поколения, причём с выбором из двух вариантов поставки.
Коли знадобилися обчислення для ШІ, цей світ не став проходити проміжні щаблі. Звичайний шлях іде від пари карт у звичайному сервері через пілотний вузол до кластера. Тут не було ні пілота, ні проміжних поколінь: одразу закуповується кластер менше ніж із десятка вузлів по 8 прискорювачів останнього покоління, причому з вибором із двох варіантів постачання.
When compute for AI was needed, this world did not work through the intermediate steps. The usual path runs from a couple of cards in an ordinary server, through a pilot node, to a cluster. Here there was no pilot and no intermediate generations: a cluster of fewer than ten nodes with eight current-generation accelerators each was bought outright, with a choice between two supply options.
Под кластер строится отдельная фабрика Ethernet. Фронтенд работает на 400G по схеме spine-leaf, и существующие коммутаторы центра обработки данных включаются в неё как leaf. Бэкенд для обмена между ускорителями использует оптику 800G. Каждый узел получает около 3 TB памяти, локальные NVMe и адаптеры по 200G.
Під кластер будується окрема фабрика Ethernet. Фронтенд працює на 400G за схемою spine-leaf, і наявні комутатори центру обробки даних включаються в неї як leaf. Бекенд для обміну між прискорювачами використовує оптику 800G. Кожен вузол отримує близько 3 TB пам’яті, локальні NVMe та адаптери по 200G.
A separate Ethernet fabric is built for the cluster. The front end runs at 400G in a spine-leaf design, with the data centre’s existing switches joining it as leaf nodes. The back end for traffic between accelerators uses 800G optics. Each node gets about 3 TB of memory, local NVMe and 200G adapters.
Две фабрики рядом: Fibre Channel для основного парка и Ethernet 400/800G для кластера ИИДві фабрики поруч: Fibre Channel для основного парку і Ethernet 400/800G для кластера ШІTwo fabrics side by side: Fibre Channel for the main estate and 400/800G Ethernet for the AI cluster
В одном центре обработки данных работают две скорости сети, и они почти не пересекаются.В одному центрі обробки даних працюють дві швидкості мережі, і вони майже не перетинаються.Two network speeds run in one data centre, and they barely touch.
Фабрика храненияФабрика зберіганняThe storage fabric
- Две независимые фабрики Fibre ChannelДві незалежні фабрики Fibre ChannelTwo independent Fibre Channel fabrics
- Коммутаторы поколения 64G с оптикой 32G под установленные адаптерыКомутатори покоління 64G з оптикою 32G під встановлені адаптери64G-generation switches with 32G optics to match the installed adapters
- Порты добавляются лицензиями по восемьПорти додаються ліцензіями по вісімPorts are added by licence, eight at a time
- Предсказуемая задержка и физическое отделение трафика храненияПередбачувана затримка і фізичне відділення трафіку зберіганняPredictable latency and physical separation of storage traffic
Сеть основного паркаМережа основного паркуThe main estate’s network
- Хосты подключены по 25GbE, двумя двухпортовыми адаптерамиХости підключені по 25GbE, двома двопортовими адаптерамиHosts connect at 25GbE through two dual-port adapters
- Этого достаточно, потому что хранение идёт по отдельной фабрикеЦього достатньо, бо зберігання йде окремою фабрикоюThat is sufficient, because storage runs on its own fabric
- Существующие коммутаторы включаются в новую фабрику как leafНаявні комутатори включаються в нову фабрику як leafThe existing switches join the new fabric as leaf nodes
Фабрика кластера ИИФабрика кластера ШІThe AI cluster fabric
- Фронтенд на 400G по схеме spine-leafФронтенд на 400G за схемою spine-leafA 400G front end in a spine-leaf design
- Бэкенд обмена между ускорителями на оптике 800GБекенд обміну між прискорювачами на оптиці 800GAn 800G back end for traffic between accelerators
- Узлы с адаптерами по 200G, локальным NVMe и ≈3 TB памятиВузли з адаптерами по 200G, локальним NVMe і ≈3 TB пам’ятіNodes with 200G adapters, local NVMe and ≈3 TB of memory
К основному парку эта фабрика не добавляет ничего, кроме общих leaf-коммутаторов.До основного парку ця фабрика не додає нічого, крім спільних leaf-комутаторів.This fabric adds nothing to the main estate beyond the shared leaf switches.
То есть в одном центре обработки данных работают две скорости сети. Хосты основного парка подключены по 25GbE, и этого им хватает, потому что хранение идёт по отдельной фабрике Fibre Channel. Кластер ИИ живёт на 400G и 800G, и его фабрика к основному парку не добавляет ничего, кроме общих leaf-коммутаторов.
Тобто в одному центрі обробки даних працюють дві швидкості мережі. Хости основного парку підключені по 25GbE, і цього їм вистачає, бо зберігання йде окремою фабрикою Fibre Channel. Кластер ШІ живе на 400G і 800G, і його фабрика до основного парку не додає нічого, крім спільних leaf-комутаторів.
So two network speeds run in one data centre. The main estate’s hosts connect at 25GbE, and that suffices because storage runs on a separate Fibre Channel fabric. The AI cluster lives on 400G and 800G, and its fabric adds nothing to the main estate beyond the shared leaf switches.
Логика прыжка через поколения такая. Разрыв между прошлыми поколениями ускорителей и текущим по памяти и пропускной способности слишком велик, чтобы промежуточная закупка успела окупиться до следующей. Кто покупает ступень за ступенью, платит дважды и дважды перестраивает питание. Кто может сразу взять флагман, делает это один раз.
Логіка стрибка через покоління така. Розрив між минулими поколіннями прискорювачів і поточним за пам’яттю і пропускною здатністю завеликий, щоб проміжна закупівля встигла окупитися до наступної. Хто купує щабель за щаблем, платить двічі і двічі перебудовує живлення. Хто може одразу взяти флагман, робить це один раз.
The logic of skipping generations runs like this. The gap between the previous accelerator generations and the current one in memory and bandwidth is too large for an intermediate purchase to pay back before the next one. Whoever buys step by step pays twice and rebuilds the power twice. Whoever can take the flagship straight away does it once.
Цена приходит в киловаттах. В выпуске 10 мы писали, что узел на 8 ускорителей с воздушным охлаждением вырос с 3,5 до 8,6 kW. Узел текущего поколения по нашей оценке потребляет уже больше 12 kW, а производители закладывают на стойку с такими узлами до 70 kW. Если умножить на число узлов, кластер меньше чем из десятка таких машин выходит около 100 kW — это больше, чем потребляет площадка из четырёх стоек с пятью поколениями оборудования, которую мы разбирали в выпуске 11. Далеко не каждый собственный или коммерческий центр обработки данных имеет такой ввод на стойку. Для этого мира это решаемая инженерная задача, а не ограничение.
Ціна приходить у кіловатах. У випуску 10 ми писали, що вузол на 8 прискорювачів із повітряним охолодженням зріс з 3,5 до 8,6 kW. Вузол поточного покоління за нашою оцінкою споживає вже більше 12 kW, а виробники закладають на стійку з такими вузлами до 70 kW. Якщо помножити на кількість вузлів, кластер менше ніж із десятка таких машин виходить близько 100 kW — це більше, ніж споживає майданчик із чотирьох стійок із п’ятьма поколіннями обладнання, який ми розбирали у випуску 11. Далеко не кожен власний чи комерційний центр обробки даних має такий ввід на стійку. Для цього світу це вирішувана інженерна задача, а не обмеження.
The price arrives in kilowatts. In issue 10 we wrote that an air-cooled node with eight accelerators had grown from 3.5 to 8.6 kW. A current-generation node draws, by our estimate, more than 12 kW, and manufacturers plan for up to 70 kW in a rack of such nodes. Multiply by the node count and a cluster of fewer than ten of these machines comes to around 100 kW — more than the four-rack site with five equipment generations we examined in issue 11 consumes in total. Far from every owned or commercial data centre has that kind of feed per rack. For this world it is a solvable engineering task rather than a constraint.
11
Что перенятьЩо перейнятиWhat to borrow
Что этот мир делает правильно
Що цей світ робить правильно
What this world gets right
Предсказуемость, двойной источник поставки, горизонт поддержки и разделение по классам.
Передбачуваність, подвійне джерело постачання, горизонт підтримки і поділ за класами.
Predictability, a dual supply source, a bought-up-front support horizon and separation by class.
Если убрать всё, что связано с бюджетом, у этого мира останется несколько решений, которые стоит перенять любому.
Якщо прибрати все, що пов’язане з бюджетом, у цього світу залишиться кілька рішень, які варто перейняти будь-кому.
Strip away everything that depends on budget and several decisions remain that anyone would do well to borrow.
- Предсказуемость важнее элегантности. Каждый слой понятен, задокументирован у вендора и знаком любому инженеру, которого можно нанять. Экзотики, которую знает один человек, здесь нет.
- Сравнение на одной спецификации. Конфигурация собирается заранее, под нагрузку, и только потом уходит производителям. Участники соревнуются сроками и условиями, а не тем, кто сильнее урежет спецификацию.
- Горизонт поддержки покупается сразу. Пять лет поддержки в момент закупки покрывают 3 года первичной эксплуатации и почти весь второй круг и снимают вопрос постгарантии, о котором мы писали в выпуске 06. А волны закупки держат большую часть парка в возрасте до 6 лет, где по нашей шкале доверие к оборудованию не опускается ниже 85–90%.
- Разделение по классам. Своя полка под каждую задачу, синхронная репликация только для контура с нулевой точкой восстановления, физическая граница для теста — всё это примеры одного принципа: не смешивать то, что можно не смешивать.
- Современные практики без смены платформы. Описание инфраструктуры кодом и контейнеры внедрены там, где люди уже работают, без ожидания большой миграции.
- Передбачуваність важливіша за елегантність. Кожен шар зрозумілий, задокументований у вендора і знайомий будь-якому інженеру, якого можна найняти. Екзотики, яку знає одна людина, тут немає.
- Порівняння на одній специфікації. Конфігурація збирається заздалегідь, під навантаження, і лише потім іде виробникам. Учасники змагаються строками й умовами, а не тим, хто сильніше вріже специфікацію.
- Горизонт підтримки купується одразу. П’ять років підтримки в момент закупівлі покривають 3 роки первинної експлуатації і майже все друге коло та знімають питання постгарантії, про яке ми писали у випуску 06. А хвилі закупівлі тримають більшу частину парку у віці до 6 років, де за нашою шкалою довіра до обладнання не опускається нижче 85–90%.
- Поділ за класами. Своя полиця під кожну задачу, синхронна реплікація лише для контуру з нульовою точкою відновлення, фізична межа для тесту — усе це приклади одного принципу: не змішувати те, що можна не змішувати.
- Сучасні практики без зміни платформи. Опис інфраструктури кодом і контейнери впроваджені там, де люди вже працюють, без очікування великої міграції.
- Predictability beats elegance. Every layer is understandable, documented by the vendor and familiar to any engineer you might hire. There is no exotica that only one person understands.
- Comparison on one specification. The configuration is assembled in advance, for the workload, and only then goes out to the manufacturers. The bidders compete on lead times and terms rather than on who can cut the specification hardest.
- The support horizon is bought up front. Five years of support at the moment of purchase covers three years of first-cycle operation and almost the whole second cycle, removing the post-warranty question we wrote about in issue 06. And the purchasing waves keep most of the estate under six years old, where on our scale trust in the hardware does not fall below 85–90%.
- Separation by class. A shelf of its own for every task, synchronous replication only for the zero-recovery-point environment, a physical boundary for test — all examples of one principle: do not mix what need not be mixed.
- Modern practice without changing platform. Infrastructure as code and containers were adopted where people already work, without waiting for a big migration.
12
ПределыМежіLimits
Где у этого мира границы
Де в цього світу межі
Where this world’s limits lie
Пределы видны даже при неограниченном бюджете: ядра, разнородность, ввод и поток денег.
Межі видно навіть за необмеженого бюджету: ядра, різнорідність, ввід і потік грошей.
The limits show even with an unlimited budget: cores, heterogeneity, the power feed and the flow of money.
Лицензии растут вместе с волнами. Каждая партия хостов увеличивает лицензионную базу пропорционально ядрам. При подписочной модели это постоянный, а не разовый расход, и если вендор пересматривает цену, этот расход растёт быстрее самого парка.
Ліцензії зростають разом із хвилями. Кожна партія хостів збільшує ліцензійну базу пропорційно ядрам. За передплатної моделі це постійна, а не разова витрата, і якщо вендор переглядає ціну, ця витрата зростає швидше за сам парк.
Licences grow with the waves. Each batch of hosts increases the licence base in proportion to its cores. Under a subscription model that is a recurring rather than a one-off cost, and if the vendor revises its pricing, the cost grows faster than the estate itself.
Сильные и слабые стороны трёх моделей парка, оценка автораСильні та слабкі сторони трьох моделей парку, оцінка автораStrengths and weaknesses of three estate models, author’s assessment
Экономный парк — тема одного из ближайших выпусков. Реальные заказчики живут между этими полюсами.Ощадний парк — тема одного з найближчих випусків. Реальні замовники живуть між цими полюсами.The frugal estate is the subject of a forthcoming issue. Real customers live between these poles.
| Параллельный мирПаралельний світThe parallel world | Средний паркСередній паркA middle-of-the-road estate | Экономный паркОщадний паркA frugal estate | |
|---|---|---|---|
| Предсказуемость поведения под нагрузкойПередбачуваність поведінки під навантаженнямPredictable behaviour under load | |||
| Горизонт поддержки куплен заранееГоризонт підтримки куплений заздалегідьSupport horizon bought up front | |||
| Защита от дефицита: двойной источник поставкиЗахист від дефіциту: подвійне джерело постачанняProtection from shortages: dual supply source | |||
| Низкая стоимость владенияНизька вартість володінняLow cost of ownership | |||
| Однородность паркаОднорідність паркуA uniform estate | |||
| Экономия по вводу и киловаттамЕкономія за вводом і кіловатамиEconomy in power feed and kilowatts | |||
| Устойчивость к паузе в закупкахСтійкість до паузи в закупівляхResilience to a pause in purchasing |
Разнородность всё равно накапливается. Двойной источник поставки защищает закупку, но приводит к смешанному парку: две линейки серверов, два набора прошивок и инструментов управления. Добавьте к этому десятки массивов разных поколений — и получится, что каждый слой однороден внутри себя, а их сочетание сложное. Часть парка этот вопрос уже закрывает: новые массивы куплены с подпиской, где поддержка идёт по неизменной ставке, а контроллеры и ёмкость обновляются без остановки и без замены массива целиком. Но на десятки систем прошлых лет это не распространяется.
Різнорідність усе одно накопичується. Подвійне джерело постачання захищає закупівлю, але призводить до змішаного парку: дві лінійки серверів, два набори прошивок та інструментів управління. Додайте до цього десятки масивів різних поколінь — і вийде, що кожен шар однорідний усередині себе, а їх поєднання складне. Частина парку це питання вже закриває: нові масиви куплені з підпискою, де підтримка йде за незмінною ставкою, а контролери і ємність оновлюються без зупинки і без заміни масиву цілком. Але на десятки систем минулих років це не поширюється.
Heterogeneity accumulates regardless. A dual supply source protects procurement but produces a mixed estate: two server lines, two sets of firmware and management tools. Add dozens of arrays from different generations and you get layers that are uniform within themselves but complex in combination. Part of the estate already addresses this: the newer arrays were bought with a subscription under which support runs at a fixed rate and controllers and capacity are refreshed without downtime and without replacing the array wholesale. But that does not extend to the dozens of systems from earlier years.
Киловатты. Две сети вместо одной, физически отдельный тест, многошкафная библиотека и кластер ИИ мощностью под сотню киловатт делают этот мир ограниченным по вводу раньше, чем по месту. В выпуске 10 мы называли это так: стойка кончается раньше. Здесь раньше кончается ввод.
Кіловати. Дві мережі замість однієї, фізично окремий тест, багатошафна бібліотека і кластер ШІ потужністю під сотню кіловат роблять цей світ обмеженим за вводом раніше, ніж за місцем. У випуску 10 ми називали це так: стійка закінчується раніше. Тут раніше закінчується ввід.
Kilowatts. Two networks instead of one, a physically separate test zone, a multi-rack library and an AI cluster approaching a hundred kilowatts make this world constrained by its power feed before it is constrained by space. In issue 10 we put it as: the rack runs out first. Here it is the feed that runs out first.
Зависимость от потока денег. В выпуске 12 мы описывали инфраструктурный долг. У этого мира долга нет, пока платят: всё на подписке, всё на поддержке, всё обновляется волнами. Но именно такая модель накапливает долг быстрее всех, если поток прерывается. Подписки истекают одновременно, поддержка массивов заканчивается каскадом, а новые волны перестают приходить. Устойчивость этого мира — функция бюджета, а не архитектуры.
Залежність від потоку грошей. У випуску 12 ми описували інфраструктурний борг. У цього світу боргу немає, поки платять: усе на підписці, усе на підтримці, усе оновлюється хвилями. Але саме така модель накопичує борг найшвидше, якщо потік переривається. Підписки спливають одночасно, підтримка масивів закінчується каскадом, а нові хвилі перестають приходити. Стійкість цього світу — функція бюджету, а не архітектури.
Dependence on the flow of money. In issue 12 we described infrastructure debt. This world has none while the payments continue: everything is on subscription, everything is under support, everything is refreshed in waves. But that is precisely the model that accumulates debt fastest if the flow is interrupted. Subscriptions expire together, array support ends in a cascade, and new waves stop arriving. This world’s resilience is a function of budget rather than architecture.
У этого мира нет долга, пока платят. И нет запаса прочности, если перестанут.
У цього світу немає боргу, поки платять. І немає запасу міцності, якщо перестануть.
This world has no debt while the payments continue. And no margin of safety if they stop.
13
Чек-листЧек-листChecklist
Что взять без такого бюджета
Що взяти без такого бюджету
What to take without that budget
Десять пунктов, которые работают и без сотен хостов на подписке.
Десять пунктів, які працюють і без сотень хостів на підписці.
Ten points that work without hundreds of hosts on subscription.
- Сделайте отказ сервера рядовым событием. Неважно, где живут данные — на массиве или распределённо по узлам кластера: замена узла должна быть отработанной процедурой, а не ручной эвакуацией.
- Если сравниваете производителей, сравнивайте одну и ту же спецификацию, собранную под вашу нагрузку заранее. Иначе тендер выбирает не железо, а самую дешёвую трактовку технического задания.
- Выбирайте число ядер на сокет по сумме лицензий и питания, а не по максимуму из прайса.
- Разделите репликацию по цене ошибки: синхронная — для контура с нулевой точкой восстановления, асинхронная — для всего остального.
- Покупайте горизонт поддержки в момент закупки, а не продлевайте его каждый год.
- Проверьте, что ещё живёт на вашем гипервизоре: периметр, балансировка, лицензии гостевых систем. Это и есть реальная стоимость ухода с него.
- Проведите границу между тестом и продуктивом там, где её проверяет аудит, — логически или физически, но осознанно.
- Внедряйте описание инфраструктуры кодом и контейнеры на той платформе, которая есть, а не после миграции.
- Для ИИ считайте не только ускорители, но и ввод: следующий шаг по поколению почти наверняка упрётся в киловатты раньше, чем в юниты.
- Посчитайте, что произойдёт с вашей инфраструктурой, если закупки остановятся на 2 года. Если ответ — каскад истекающих подписок и поддержки, это и есть ваш реальный риск, а не устаревание железа.
- Зробіть відмову сервера пересічною подією. Неважливо, де живуть дані — на масиві чи розподілено по вузлах кластера: заміна вузла має бути відпрацьованою процедурою, а не ручною евакуацією.
- Якщо порівнюєте виробників, порівнюйте одну й ту саму специфікацію, зібрану під ваше навантаження заздалегідь. Інакше тендер обирає не залізо, а найдешевше трактування технічного завдання.
- Обирайте кількість ядер на сокет за сумою ліцензій і живлення, а не за максимумом із прайсу.
- Розділіть реплікацію за ціною помилки: синхронна — для контуру з нульовою точкою відновлення, асинхронна — для всього іншого.
- Купуйте горизонт підтримки в момент закупівлі, а не продовжуйте його щороку.
- Перевірте, що ще живе на вашому гіпервізорі: периметр, балансування, ліцензії гостьових систем. Це і є реальна вартість відходу від нього.
- Проведіть межу між тестом і продуктивом там, де її перевіряє аудит, — логічно або фізично, але усвідомлено.
- Впроваджуйте опис інфраструктури кодом і контейнери на тій платформі, яка є, а не після міграції.
- Для ШІ рахуйте не лише прискорювачі, а й ввід: наступний крок за поколінням майже напевно упреться в кіловати раніше, ніж у юніти.
- Порахуйте, що станеться з вашою інфраструктурою, якщо закупівлі зупиняться на 2 роки. Якщо відповідь — каскад підписок і підтримки, що спливають, це і є ваш реальний ризик, а не старіння заліза.
- Make a server failure an ordinary event. It does not matter where the data lives — on an array or spread across the cluster’s nodes: replacing a node should be a rehearsed procedure rather than a manual evacuation.
- If you are comparing manufacturers, compare one and the same specification, assembled in advance for your workload. Otherwise the tender selects not the hardware but the cheapest reading of the specification.
- Choose the cores per socket by the combined cost of licences and power, not by the top of the price list.
- Split replication by the cost of the error: synchronous for the zero-recovery-point environment, asynchronous for everything else.
- Buy the support horizon at the moment of purchase instead of renewing it year by year.
- Check what else lives on your hypervisor: the perimeter, the load balancing, the guest licences. That is the real cost of leaving it.
- Draw the line between test and production where the audit checks it — logically or physically, but deliberately.
- Adopt infrastructure as code and containers on the platform you already have, not after a migration.
- For AI, count not just the accelerators but the power feed: the next step up a generation will almost certainly hit kilowatts before it hits rack units.
- Work out what happens to your infrastructure if purchasing stops for two years. If the answer is a cascade of expiring subscriptions and support, that is your real risk — not the ageing of the hardware.
14
ИтогПідсумокWrap-up
Вместо вывода
Замість висновку
In place of a conclusion
Параллельный мир не отстал от рынка. Он выбрал другую ось оптимизации: вместо стоимости владения — предсказуемость, вместо унификации — свой класс оборудования под каждую задачу, вместо миграции — расширение того, что уже работает.
Паралельний світ не відстав від ринку. Він обрав іншу вісь оптимізації: замість вартості володіння — передбачуваність, замість уніфікації — свій клас обладнання під кожну задачу, замість міграції — розширення того, що вже працює.
The parallel world has not fallen behind the market. It chose a different axis of optimisation: predictability instead of cost of ownership, a dedicated class of equipment for every task instead of unification, and extending what already works instead of migrating.
В одном из ближайших выпусков будет описан противоположный полюс — парк, собранный из самого дешёвого, что формально проходит требования. Реальные заказчики живут между этими полюсами, и почти у каждого найдётся что взять с обеих сторон.
В одному з найближчих випусків буде описаний протилежний полюс — парк, зібраний із найдешевшого, що формально проходить вимоги. Реальні замовники живуть між цими полюсами, і майже в кожного знайдеться що взяти з обох боків.
A forthcoming issue will describe the opposite pole — an estate assembled from the cheapest items that formally meet the requirements. Real customers live between those poles, and almost every one of them has something to take from both sides.
