Az elmúlt néhány napban olvastam a Microsoftnál, az FAA-nál, a United Airlinesnál, a Chase-nél és az Amtraknál bekövetkezett üzemszünetekről. Emellett felhívtam azokat a barátaimat, családtagjaimat és munkatársaimat is, akiket érintett a zavar, hogy megkérdezzem, jól vannak-e, és hogyan jutnak haza.
Az „üzemszünet” szó egészen más jelentést nyer, ha egy számodra fontos személy rekedt meg a repülőtéren. A technikai magyarázat mögött fáradt gyerekek, sorban várakozó idősebb utasok, elmulasztott csatlakozó járatok és összeomló tervek állnak. Egy vállalkozás számára ez megrendelések elvesztését, késedelmes fizetéseket és egy elvesztegetett munkanapot jelenthet.
Az OPSWAT alapítója és vezérigazgatója vagyok, amely egy kritikus infrastruktúra védelmére szakosodott kiberbiztonsági vállalat. Emellett műszerrepülési jogosítvánnyal rendelkező pilóta is vagyok. Ezeket az eseményeket szemlélve mindig ugyanaz a kérdés merül fel bennem: miért nem alkalmazzuk inkább azokat a gondolkodásmódokat, amelyek biztosítják a repülőgépek zavartalan működését, azokra az infrastruktúrákra is, amelyekre mindennap támaszkodunk?
Egy repülőgép rendkívül kis helyen foglalja magában az energiaellátást, a navigációt, a kommunikációt és a repülésirányítást. Ezek a rendszerek – néha nehéz körülmények között is – összehangoltan működnek, és emberek élete függ tőlük.
A tervezés abból indul ki, hogy hibák előfordulnak. A pilótaképzés jelentős része annak szentelt, hogy felismerjék ezeket a hibákat, és tudják, mit kell tenniük ezután. Akkor gyakorolsz, amikor még megengedheted magadnak, hogy hibázz.
Vegyük például az áramellátást. A generátor áramot termel a repülőgép számára. Igen, ez segíthet az iPhone-od feltöltésében, de engem inkább az érdekel, hogy a rádiók és a repülési műszerek működőképesek maradjanak.
Egy két generátorral felszerelt repülőgépen az egyik generátor képes ellátni a létfontosságú fogyasztókat, ha a másik meghibásodik. Ha mindkettő meghibásodik, az akkumulátorok korlátozott ideig biztosíthatják az üzemeltetést. Ilyenkor csökkenteni kell a terhelést, és ezt az időt a vészhelyzet kezelésére kell fordítani.
A lényeg az, hogy a generátor és az akkumulátor eltérő módon működik. Az egyik áramot termel, a másik pedig tárolja azt. Az akkumulátor egy további lehetőséget kínál arra, hogy a szükséges berendezéseket továbbra is működésben tartsd, ha az áramellátó rendszer kiesik.
Ez a gondolkodásmód még tovább megy. Az Airbus olyan repülésirányító rendszerek terveit dokumentálta, amelyek az elsődleges és másodlagos számítógépekben különböző hardvert és szoftvert használnak, beleértve az egyszerűbb másodlagos rendszereket is. A cél az, hogy csökkentsék annak az esélyét, hogy egy hiba minden kritikus funkció végrehajtásának lehetőségét megakadályozza.
Általában magammal viszem az iPad-emet a ForeFlight alkalmazással, a repülőgépen már meglévő műszerek mellett. Ez egy kiegészítő segédeszköz, amelynek képességei a hozzá csatlakoztatott érzékelőktől függenek, és tisztában kell lennem a korlátaival. Mindazonáltal megnyugtató érzés, hogy van egy további repülési információforrásom, egy másik eszközön, saját akkumulátorral.
Most nézzük meg ugyanezt a kérdést az informatika, a kritikus rendszerek és a kritikus infrastruktúra szempontjából. Ezeknek a rendszereknek – például egy repülőgéphez hasonlóan – az életet vagy a szabadságot kell biztosítaniuk, ezért ugyanazt a tervezési szemléletmódot kell alkalmaznunk.
Ha az elsődleges rendszerem és a tartalékrendszerem ugyanazt a szoftvert futtatja, ugyanazokat a frissítéseket kapja, és ugyanazon a hálózaton működik, akkor mennyire függetlenek egymástól? Az egyik rendszer másik épületbe való áthelyezése nem szünteti meg a kódban lévő hibát. Egy második felhő is továbbra is ugyanazon az azonosítási szolgáltatáson vagy adatforráson alapulhat.
Klonálhatunk egy rendszert, és ezzel együtt lemásolhatjuk annak gyenge pontjait is.
Ha ugyanaz a hiba mindkét rendszert leállíthatja, akkor valóban van-e biztonsági másolatunk?
A közelmúltbeli események rávilágítanak arra, miért is olyan fontos ez a kérdés.
Microsoft, november 12. és 13.
Előzetes jelentésükben egy rejtett szoftverhibáról, a kapuforgalom növekedéséről és a kapacitás csökkenéséről számolnak be. A meghibásodott szerverekről történő forgalomátirányítás hozzájárult ahhoz, hogy a hiba átterjedjen más, ugyanazzal a sebezhetőséggel rendelkező szerverekre is. A Microsoftnak már korábban is voltak különböző kapuarchitektúrái, de egyes szolgáltatások – köztük az Exchange Online – nem tudtak a szükséges mértékben átállni az alternatív megoldásra. Értékelem a Microsoft által közzétett részletes információkat. My A tanulság az, hogy a függetlenséget és a kapacitást együtt kell tesztelni. Úgy vélem, hogy egy alternatív architektúrának készenlétben lévő tartalékként kell átvállalnia a lényeges feladatokat, amikor arra ténylegesen szükség van.
FAA, november 13.
Az FAA a hálózat túlterhelését írta le az útválasztók cseréjével járó munkálatok ideje alatt. Két feltételezett forráshely letiltásával sikerült stabilizálni a hálózatot. A légiforgalmi irányítók és a pilóták biztosították a biztonságot, de az országos szintű felszállások leálltak. A kiváltó okot még vizsgálják, és az FAA szerint a SMART (Strategic Management of Airspace, Routes and Trajectories – Légtér, útvonalak és repülési pályák stratégiai kezelése) rendszernek ehhez semmi köze nem volt. Az architektúrával kapcsolatos kérdés az, hogy egy kis számú helyszínen felmerült probléma hogyan terjedhetett el ilyen széles körben, és milyen további elszigetelési intézkedések és független kommunikációs csatornák segítségével lehetett volna biztonságosabban fenntartani a működést. Ugyanakkor fel kell tennünk azt a kérdést is, hogy mi okozta a meglévő architektúra összeomlását, és hogyan zárták ki a SMART szerepét?
Amtrak, november 13.
Foglalási problémák merültek fel, miközben a rekedt utasok alternatív megoldásokat kerestek. Az Amtrak a rendszerfrissítésre és a megnövekedett keresletre hivatkozott, bár a pontos technikai ok továbbra is tisztázatlan. Ez egy olyan forgatókönyv, amelyet minden vészhelyzeti gyakorlatba beépítenék: amikor infrastruktúránk egy része meghibásodik, az emberek egy másikhoz fordulnak. A következő rendszernek is rendelkeznie kell kapacitással ezeknek az embereknek a kiszolgálására.
United, november 16.
A Reuters arról számolt be, hogy egy rendszerleállás több személyzeti alkalmazást is érintett, és emiatt a United nem tudta megadni az induló járatok végleges repülőgép-súlyadatait. A probléma mögött álló technikai okot továbbra sem hozták nyilvánosságra. Gondoljunk csak bele: a repülőgép, a személyzet és az utasok mind készen állhatnak, mégis a járat nem indulhat el a szükséges adatok nélkül. Bármely alternatív megoldásnak rendelkeznie kell naprakész, pontos rakományadatokkal. A tegnapi biztonsági másolat nem lenne elegendő. Vissza kell állítanunk egy működőképes rendszert, amely naprakész adatokkal rendelkezik.
Chase, november 16.
Egy belső szoftverhiba késleltette a tranzakciókat, beleértve a más bankokat érintő fizetéseket is. Ebben az esetben a helyreállítás során meg kell őrizni a pénzügyi nyilvántartást. A gyors átállás csak akkor segít, ha a fizetéseket elszámolták, az egyenlegek helyesek, és a tranzakciókat nem dolgozzák fel kétszer. Ezt reális tranzakciós forgalom mellett kell igazolni.
Ezek különböző események, és a nyomozás folyamatban van, ezért óvatosan kell kezelnünk a következtetéseket. De már most is rengeteg olyan elem található itt, amelyet beépíthetünk a saját mérnöki megbeszéléseinkbe.
És most mesterséges intelligenciát építünk be azokba a rendszerekbe, amelyekre támaszkodunk.
Már egy hagyományos alkalmazás helyreállítása is nehézségekbe ütközhet. Egy mesterséges intelligenciával működtetett rendszerhez modell, futtatási környezet, adattavak és adatfolyamok társulnak, amelyek közötti összefüggéseket nehéz lehet kibogozni, ha valami probléma adódik. Még akkor is, ha a modell változatlan marad, az adatok és a működési környezet változhatnak. A kód egy korábbi verziójának visszaállítása olyan komponenseket eredményezhet, amelyek már nem működnek megfelelően együtt.
Előfordulhat, hogy a szoftver újra működik, miközben a rendszer továbbra is helytelen javaslatokat ad.
Éppen ezért egy mesterséges intelligencia rendszert élő működési környezetnek tekintek. A helyreállítás azt jelenti, hogy meg kell értenünk, mi változott, vissza kell állítanunk a kompatibilis összetevőket, és ellenőriznünk kell a rendszer viselkedését, mielőtt újra rá támaszkodnánk.
Az embereknek továbbra is szükségük van a szolgáltatásra, amíg a munkálatok folynak.
A legkritikusabb funkcióink esetében úgy vélem, fontolóra kellene vennünk egy különálló, más architektúrán futó megvalósítást, amely már működik és készen áll az átvételre. Ez lehet egy másik mesterséges intelligencia-platform. Lehet egy egyszerűbb, hagyományos rendszer is, amely képes fenntartani a létfontosságú műveleteket.
A függetlenségnek az alkalmazáson túlra is ki kell terjednie. Lehet, hogy ugyanazon a hibás hálózaton futó más szoftverek továbbra sem érhetők el. Lehet, hogy két különböző modell, amely ugyanazokat a sérült adatokat használja, továbbra is hibás eredményeket produkál. Meg kell vizsgálnunk a szolgáltatás működéséhez szükséges teljes útvonalat. Ugyanazt a megközelítést kell alkalmaznunk, amelyet az Airbus pilótafülke-architektúrájának példájában ismertetettem.
Tudom, hogy ez pénzbe kerül és bonyolítja a dolgokat. Az alternatív megoldásnak nem kell az elsődleges rendszer minden funkciójával rendelkeznie. Akárcsak egy repülőgép akkumulátora, ennek is egy meghatározott ideig kell biztosítania a legfontosabb funkciókat, egy eltérő architektúra segítségével.
Először is döntsük el, mi kell, hogy továbbra is működjön, milyen kapacitással és mennyi ideig. Ha a rendszer csak milliszekundumokig vagy másodpercekig képes elviselni a leállást, akkor ez olyan műszaki követelmény lesz, amelyet be kell bizonyítanunk. Minden egyéb szolgáltatás helyreállítása hosszabb időt vehet igénybe.
Ezután ellenőrizzék a rendszer működését szabályozott körülmények között. Tegyék elérhetetlenné a mesterséges intelligenciát. Kapcsolják le a hálózatot. Vezessenek be elavult adatokat, hibás frissítést vagy kiberbiztonsági incidenst. Próbálják ki ezt akkor is, amikor a tartalék rendszer már elvesztette egy részét a kapacitásából. Figyeljék meg, mi történik, amikor valódi embereknek kell végrehajtaniuk az átállást, és mérjék fel, hogy a szolgáltatás továbbra is használható és hibamentes marad-e.
A pilótafülkében tudnom kell, hogy mi működik még egy meghibásodás után, meddig fog működni, és mit kell tennem ezután. Ezekre a kérdésekre már a felszállás előtt választ kell kapnom.
Azok a családok, akik haza akarnak jutni, és azok a vállalkozások, amelyek a kifizetésekre várnak, megérdemlik, hogy mi is ugyanilyen alaposan felkészüljünk számukra.
A következő vezetői értekezleten kérdezze meg a csapatát: „ha az elsődleges rendszerünk most azonnal meghibásodna, mi működne tovább, és ugyanaz a hiba azt is megszakíthatná?”
Vizsgáld meg alaposan a tervezést és az architektúrát, és próbáld meg hibákat találni benne! Server leállás, kommunikációs zavar, kiberbiztonsági incidens. Ha olyan mesterséges intelligencia-rendszerről van szó, mint a SMART, tanulmányozd át az összetevőit! Számíts rá, hogy a rendszer kicsúszhat az irányítás alól; korlátozd a sávszélességet, és gondoskodj arról, hogy egy másik, eltérő architektúrájú rendszer álljon készenlétben arra az esetre, ha az egész rendszer leállna.
Akkor kérd meg őket, hogy mutassák meg neked.
A következő áramkimaradáskor nem szabad, hogy csak akkor derüljön ki, hogy működik-e a tartalék rendszer.
