Třikrát více – bezpečnost, spolehlivost a úspora energie
Rádi bychom vám představili modernizaci naší cloudové infrastruktury, která nám i našim klientům přináší zvýšený výkon, spolehlivost a škálovatelnost.
Již od roku 2010 provozujeme vlastní cloudovou infrastrukturu, u níž se postupně vyvíjela technologie na úrovni hardware i software. Nakonec se vše ustálilo na technologii Dell Blade M1000, storage Dell Equallogic a virtualizaci přes VMware. Postupem času jsme vše měli umístěné v datacentru TTC1 a jako záložní lokalita bylo datacentrum TTC2. Vše bylo a dodnes je hostované u společnosti PRO-ZETA, která poskytuje konektivitu do internetu a také optická vlákna mezi datacentry. V roce 2020 jsme zažádali RIPE o vlastní IP adresní autonomní systém a byly nám přiděleny vlastní IP adresy, takže nejsme závislí na poskytovateli konektivity.
Po mnoha letech spolehlivého provozu jsme se rozhodli, že je čas na změnu a technologický pokrok nás přiměl kompletně obměnit hardware i software. Výsledkem našeho pečlivého výběru jsou servery Supermicro, switche Arista, datastorage postavená na Ceph a virtualizační platforma Proxmox.
Moderní servery pro vyšší výkon
Naše nové servery Supermicro SYS-6029TP-HTR nám umožňují umístit do racku až 4 servery do 2U pozice. Každý server je vybaven 2x CPU Xeon Gold 6248, 384 GB RAM a 2x NVMe disky pro Ceph storage. Celkově disponujeme 640 CPU jádry, 2x 25 Gbit síťovou kartou, 3072 GB RAM a 64 TB diskového prostoru na ultrarychlé NVMe SSD. Servery mají dva napájecí zdroje, každý připojený na nezávislý napájecí okruh. Management přes IPMI je samozřejmostí. Tento výkon zajišťuje, že naše infrastruktura splňuje náročné požadavky dnešní doby.
Rychlá a spolehlivá síťová infrastruktura
Vzhledem, k tomu, že jsme chtěli kvůli výkonu Ceph postavit interně vše na 25Gbit technologii, rozhodli jsme se na doporučení kolegy nasadit dva switche Arista 7060SX2. Tyto switche nabízí 48x 25 Gbit a 6x 100 Gbit porty, což nám poskytuje dostatečnou kapacitu pro všechny naše potřeby. Oba switche jsou nastaveny jako redundantní v režimu MLAG a propojeny 2x 100 Gbit. Síťové karty jsou v bondingu, takže komunikují rychlostí 50 Gbit. Naše testy potvrdily reálnou rychlost 46,8 Gbit. I při výpadku jednoho switche se systém zpomalí na 25 Gbit/s, takže nedochází k zásadním problémům.
Moderní datová úložiště
Původní storage na bázi DELL Equallogic (PS6210 a pro backup PS6110) jsme nahradili softwarově definovanou storage postavenou na Ceph. Přestože původní řešení fungovalo spolehlivě, v poslední době se již upouští od dedikovaných storage a obecně diskových řadičů.
Naše nová storage poskytuje spolehlivost, redundanci a výkon, který je na úplně jiné úrovni než klasické Dell Equallogic, které jsou dnes již opravdu překonané. V každém z našich serverů máme 2x 4TB NVMe disky, což nám dává celkovou hrubou kapacitu 64TB. NVMe disky nabízí mnohem vyšší výkon než klasické disky, a rychlosti čtení a zápisu jsou násobně vyšší než u klasických SSD disků. Při kombinovaných testech, kde bylo 75% čtení a 25% zápis, jsme na naší původní storage dosahovali přibližně 20 tisíc IOPS, zatímco na nové storage dosahujeme neuvěřitelných více než 700 tisíc IOPS. Datová propustnost je rovněž řádově vyšší.
Virtualizační platforma Proxmox
Před více než deseti lety jsme zvolili VMware jako tehdy snad jedinou možnost pro virtualizaci. V průběhu času však VMware neustále zdražovali licence a poslední rok to dohnali až do krajnosti, což nás přimělo hledat jinou alternativu. Našli jsme ji v platformě Proxmox, která se ukázala jako vynikající volba, protože celý náš cluster funguje naprosto skvěle.
Ve spolupráci se storage Ceph, která je integrována do Proxmoxu, je tato kombinace pro naše potřeby ideální. Webová konzole Proxmoxu je velmi přehledná a nemá žádný centrální bod, podobně jako vCenter (jedna virtuální instalace). Je dostupná na kterémkoli node Proxmoxu, což zajišťuje flexibilitu a snadnou správu.
Zálohování
Zálohování dat je pro nás klíčové, protože uchováváme data jak naše, tak i našich zákazníků. Pro tento účel jsme zvolili Proxmox Backup Server, který je úzce integrován do Proxmox virtualizačního prostředí. Tento server, vybavený SSD disky, zajišťuje plynulý a bezproblémový provoz a je umístěn v jiném datacentru, které se nachází v odlišné geografické lokalitě. Mezi datacentry máme dvě optická vlákna o rychlosti 10Gbit/s, což zajišťuje rychlé a spolehlivé přenosy dat. Zálohy všech serverů provádíme každou hodinu, a následně se udržují denní, týdenní a měsíční zálohy. Díky tomu jsme schopni v případě potřeby snadno obnovit celý virtuální stroj nebo jen konkrétní soubory.
Konektivita
Od roku 2020 máme vlastní autonomní systém (AS) s přiděleným rozsahem IP adres od RIPE, což nám umožňuje být nezávislí na konkrétních operátorech nebo poskytovatelích konektivity. Jelikož ale máme nadstandardní vztahy se společností PRO-ZETA, se kterou spolupracujeme již více než 15 let, není potřeba nic měnit. Nedávno jsme upgradovali na uplink s kapacitou 2x 100 Gbit/s, propojený přes naše dva switche Arista 7060 a BGP, což zajišťuje redundanci v případě výpadku jednoho switche nebo konektivity.
Spolehlivost a redundance
Před produkčním nasazením jsme podrobili naši infrastrukturu důkladným testům, abychom ověřili její spolehlivost při výpadku jednotlivých komponent. Testy potvrdily, že při výpadku poloviny serverů a switchů systém stále funguje bez výrazných omezení rychlosti nebo kapacity diskového pole. Naše současné řešení je podstatně spolehlivější než původní systém postavený na Dell Blade M1000, storage Dell Equallogic a VMware, díky eliminaci všech SPOF (single point of failure), jako byla jedna storage, VMware, jeden switch atd.
Shrnutí
Naše nové řešení nám přineslo několik zásadních výhod:
- 3x větší výkon
- 3x menší prostorové nároky v racku
- 3x nižší spotřeba energie
Díky našemu inhouse řešení jsme nasbírali mnoho cenných zkušeností, které nám umožňují nabídnout podobná řešení i našim zákazníkům. Proč hledat nové cesty, když jsme již našli tu správnou? Ta naše se jako správná ukázala a posunula provozování našeho datacentra na novou úroveň.