Bezpieczeństwo IT – architektura i administracja

W czasach rosnącej potrzeby integracji, posiadania jak największej i jak najlepszej jakości informacji o dostępnych zasobach, o posiadanym majątku, stanie sieci dystrybucyjnej, utrzymywanie separacji systemów technologicznych od systemów korporacyjnych jest po prostu niemożliwe. Systemy klasy SCADA nie są obecnie prostymi systemami do akwizycji sygnałów z obiektów (Data Acquisition), nadzoru nad nimi (Supervisory) i ich kontroli (Control), a rozbudowanymi systemami do zarządzania, monitorowania, automatycznej rekonfiguracji (FDIR), prognozowania i estymacji wyników obliczeń, które znacznie ułatwiają pracę służb dyspozytorskich Operatorów Systemów Dystrybucyjnych w Polsce i na świecie.

Aby systemy te mogły spełniać wymienione wyżej role, muszą posiadać ogromną ilość danych, które pozyskują z systemów np. majątkowych, ERP i innych, poprzez interfejsy i punkty styku między OT i IT. Muszą także odznaczać się wysoką niezawodnością i odpornością na awarie. Połączenie tych dotychczas rozdzielnych światów jest niezbędne, aby realizować zadania np. optymalizacji kosztów, wykorzystania zasobów ludzkich, optymalizacji wyłączeń, a co za tym idzie, ograniczania wskaźników SAIDI/SAIFI i innych parametrów Jakości Energii Elektrycznej.

System WindEx, jako system klasy SCADA umieszczony zwykle w tej wydzielonej sieci technologicznej uważany jest za bezpieczny i wolny od cyberataków. Powszechność pamięci przenośnych (pendrive) używanych do przenoszenia danych, zabezpieczania konfiguracji systemu, aktualizacji składników systemu, czy zabezpieczania logów skutecznie zakłócają separacje systemów nadzoru od świata zewnętrznego i narażają te systemy na cyber niebezpieczeństwa. Bezpieczeństwo systemu WindEx zapewniał także fakt, iż zwykle serwery systemu są oparte o system operacyjny Linux uchodzący za bezpieczny, wymagający dużej kultury informatycznej od obsługujących go ludzi, mniej popularny, a co za tym idzie mniej zagrożony wirusami i innym szkodliwym oprogramowaniem. Obecnie system operacyjny Linux stał się tak powszechny i znany, że te zalety, o których była mowa wcześniej już nie maja takiego znaczenia. Aby w pełni wykorzystać zalety systemu Linux należy go odpowiednio skonfigurować i przygotować do bezpiecznej pracy.

Ustawa z dnia 26 kwietnia 2007 r. o Zarządzaniu Kryzysowym, a także Rozporządzenia Rady Ministrów nr 540, 541, 542 nakładają obowiązek monitorowania i dbania o bezpieczeństwo infrastruktury krytycznej, czyli będącej w Państwa posiadaniu sieci elektroenergetycznej wraz z systemami umożliwiającymi sterowanie stanem pracy sieci. Czym jest infrastruktura krytyczna i czy system WindEx się do niej zalicza? Wspomniana wcześniej ustawa (art. 3, pkt 2) jako architekturę krytyczną wskazuje: systemy oraz ich składowe powiązania międzyobiektowe, w tym obiekty budowlane, urządzenia, instalacje i usługi kluczowe dla bezpieczeństwa państwa i jego obywateli oraz urządzenia służące do zapewnienia sprawnego funkcjonowania organów administracji publicznej, a także instytucji i przedsiębiorców. Infrastruktura krytyczna obejmuje następujące systemy:

• magazynowania oraz zaopatrzenia w energię, surowce energetyczne i paliwa
• łączności
• sieci teleinformatyczne
• bankowości oraz finansowe
• zaopatrzenia w żywność i wodę
• ochrony zdrowia
• transportowe
• ratownicze (policja, straż pożarna, pogotowie medyczne i inne pogotowia)
• zapewniające ciągłość działania administracji publicznej
• produkcji, składowania, przechowywania i stosowania substancji chemicznych i promieniotwórczych, w tym rurociągi do transportu substancji niebezpiecznych

System WindEx, jako system zapewniający nadzór nad zaopatrzeniem w energię elektryczną, oraz działający w oparciu o sieć teleinformatyczną jest składnikiem infrastruktury krytycznej i dbałość o jego bezpieczeństwo jest zadaniem priorytetowym. Zapewnienie wysokiego poziomu bezpieczeństwa IT jest głównym ogniwem ochrony tej infrastruktury, która coraz częściej podlega cyber atakom zarówno z zewnątrz, jak i z wewnątrz. Znane incydenty zakłócenia pracy systemów SCADA były dobrze przygotowane, trwały długo w czasie i najczęściej były skutkiem wprowadzenia złośliwego oprogramowania do sieci wydzielonej z wewnątrz organizacji. Dalsza część ataków była realizowana z zewnątrz, dzięki otwartym furtkom przez wprowadzone wcześniej oprogramowanie. Widać więc, że dbałość o przestrzeganie procedur bezpieczeństwa, „dobre praktyki informatyczne”, monitorowanie środowiska i sieci IT są skuteczną metodą pozwalającą na wczesne wykrycie niepokojącego zjawiska i zapobieganie destabilizacji systemów krytycznych. Dla firm oznacza to jedno – najwyższy czas przyjrzeć się zabezpieczeniom swoich sieci technologicznych.

Firma Apator Elkomtech SA wychodząc naprzeciw Państwa oczekiwaniom, pomaga wyznaczać infrastrukturę krytyczną, przekazuje wytyczne do jej projektowania oraz tak konstruuje i wdraża architekturę systemu WindEx, aby była ona zgodna z najwyższymi wymaganiami bezpieczeństwa. Jedną z metod ochrony infrastruktury krytycznej jest segmentacja sieci i separowanie warstw firewallami. Zbudowanie systemu zgodnego z koncepcją podziału sieci na warstwy jest możliwe dzięki zastosowaniu produktu OMS_Proxy, który jest pośrednikiem między warstwami sieci, zabezpiecza serwery WindEx OMS przed bezpośrednim dostępem użytkowników z sieci biurowej, a jednocześnie umożliwia im korzystanie z aplikacji WindEx OMS. Stosując ten produkt można zbudować system SCADA w następujących zalecanych wariantach:

• wariant, w którym serwery systemu WindEx CIM i WindEx OMS znajdują się w bezpiecznej sieci technologicznej (Rys. 1)
• wariant, w którym serwery systemu WindEx CIM znajdują się w bezpiecznej sieci technologicznej, natomiast serwery WindEx OMS i serwery prezentacyjne WWW znajdują się w strefie DMZ (Rys. 2)

W tak zaprojektowanej infrastrukturze jest osadzony system WindEx, którego bezpieczeństwo podnoszone jest zgodnie z zaleceniami NSA, pozbawiając administratora systemu WindEx najwyższych uprawnień administracyjnych, przynależnych do administratora systemu operacyjnego (root). Użytkownikowi przydzielane są minimalne uprawnienia. Użytkownik administracyjny systemu WindEx może uruchamiać składniki systemu, pozbawiony jest natomiast możliwości dokonywania zmian w konfiguracji systemu operacyjnego (np. zmiana adresów sieciowych serwera, zmiana konfiguracji usług systemowych itp.). Oddzielony jest także katalog domowy użytkownika administracyjnego, od katalogu roboczego systemu WindEx, dzięki czemu można bardziej restrykcyjnie ustawić prawa dostępu do katalogów i plików systemu WindEx oraz zostają uporządkowane pliki systemowe.  Obydwa te katalogi są umieszczone na oddzielnej partycji, innej niż system operacyjny, gdyż prawo zapisu do nich ma użytkownik, a nie tylko administrator (root). W systemie operacyjnym zostają wyłączone usługi, które nie są potrzebne do działania systemu WindEx, a które mogą stanowić potencjalne zagrożenie dla infrastruktury krytycznej. Są to np.: telnet, bluetooth, rdp itp. Konfiguracja sprzętowa serwerów także jest poddawana inspekcji. Wyłączana jest w BIOS’ach serwerów:

• możliwość uruchomienia systemu z dysków CD/DVD
• możliwość uruchomienia systemu z pamięci przenośnej (USB)
• dostęp do BIOS jest zabezpieczany hasłem

Każdy z użytkowników systemu WindEx klasy SCADA, jak i aplikacji WindEx OMS, musi zalogować się do systemu w celu potwierdzenia swoich uprawnień. W systemie WindEx można wyróżnić dwie metody uwierzytelniania użytkowników: za pomocą kart dostępu i/lub za pomocą loginu i hasła. We wszystkich aplikacjach systemu WindEx obowiązuje mechanizm SSO (Single Sign On), który zapewnia jednokrotne uwierzytelnienie do wszystkich aplikacji. Zalogowany użytkownik jest jednoznacznie identyfikowany imieniem i nazwiskiem, a jakiekolwiek czynności wykonywane w systemie są z nim powiązane. W logach systemowych znajdują się informacje o każdej włożonej karcie, numerze terminala i o każdym logowaniu z użyciem hasła. Każdy z użytkowników ma przypisane role, które jednoznacznie określają uprawnienia do działań w systemie WindEx.

Podstawowym narzędziem pracy dyspozytorów i osób mających dostęp do systemu SCADA jest terminal systemu, który łączy się do serwerów systemu WindEx i umożliwia ciągły nadzór nad stanem sieci. Terminale systemu WindEx pracują zwykle w wydzielonej sieci komputerowej, która nie ma styku z siecią biurową lub jest od niej separowana przez firewall. Terminale systemu mogą łączyć się do jednego, jak i do wielu serwerów systemu, co zapobiega brakowi nadzoru w przypadku awarii któregoś z serwerów.

Mimo wydzielonej sieci, w której pracują terminale, firma Apator Elkomtech zaleca wprowadzenie uwierzytelniania i szyfrowania połączeń między terminalami a serwerami systemu WindEx, a także szyfrowania i uwierzytelniania połączeń między serwerami systemu. Apator Elkomtech uznaje za w pełni bezpieczne dla systemu WindEx jedynie uwierzytelnianie obydwu stron połączenia. Dzięki zastosowaniu uwierzytelniania połączeń zapewniamy bezpieczeństwo połączeń terminal-serwer i serwer-serwer, a także zwiększamy odporność na ataki z wewnątrz sieci.

Dzięki uwierzytelnianiu połączeń zwiększone zostało bezpieczeństwo połączeń terminali mobilnych pracujących poprzez połączenia VPN na laptopach i stacjach mobilnych.

Mamy bezpieczny system zbudowany zgodnie z zaproponowanymi wcześniej wariantami, w wydzielonej sieci technologicznej, z zaimplementowaną strefą DMZ i z bezpiecznymi uwierzytelnionymi, szyfrowanymi połączeniami, ze stacjami roboczymi wyposażonymi w tak zwany „cienki klient”, które to stacje nie przechowują żadnych wrażliwych danych przedsiębiorstwa. W jaki sposób natomiast chronić dane przechowywane na serwerach? Odpowiedź wydaje się oczywista – stosując archiwizację (backup). Należy pamiętać, że system WindEx jest systemem klasy SCADA, systemem czasu rzeczywistego, który musi pracować bez przerwy i być ciągle dostępny. Jak więc wykonać backup? Wykonanie archiwizacji podczas pracy systemu jest mało skuteczne, gdyż w trakcie pracy systemu jest otwartych wiele plików i nie zostaną one prawidłowo zarchiwizowane. Architektura systemu WindEx jest zaprojektowana tak, że serwery tworzą pary active-active z przetwarzaniem równoległym. Możliwe jest, więc zatrzymanie jednego z czterech lub jednego z sześciu (bowiem tyle zwykle jest tych serwerów) i wykonanie backupu. Po ponownym uruchomieniu nastąpi wyrównanie danych z innych serwerów za okres nieaktywności. W architekturze systemu WindEx wszystkie serwery posiadają takie same dane (stany łączników, pomiary, topologia), natomiast różnią się konfiguracją. Dlatego zwykle wystarczało zabezpieczyć konfigurację systemu WindEx z każdego serwera, a pozostałe dane były dostępne na innych serwerach systemu. W przypadku awarii sprzętowej serwera i konieczności przywrócenia go do działania należało:

• zainstalować system operacyjny Red Hat Enterprise lub inny Linux, albo Windows
• zmodyfikować parametry systemu operacyjnego zgodnie z wymaganiami systemu WindEx
• przygotować strukturę katalogów systemu WindEx i napełnić ją danymi z backupu (konfiguracja) i danymi czasu rzeczywistego z innych działających serwerów
• zainstalować i skonfigurować usługę zarządzającą systemem WindEx
• przygotować repozytorium i uruchomić dodatkowe usługi wymagane przez system
• uruchomić system WindEx

• 

• 

Operacja przywrócenia do działania serwera była bardzo czasochłonna (sama instalacja systemu operacyjnego trwa dość długo, a jeszcze należy go dostroić), wymagała dużej wiedzy od strony informatycznej (systemy operacyjne) i dużej znajomości samego systemu WindEx. W jaki zatem sposób można zapewnić szybkość i łatwość odtworzenia systemu z infrastruktury krytycznej? Pomocna okazuje się być wirtualizacja. Firma Apator Elkomtech SA zaleca, aby system WindEx był osadzony na systemie operacyjnym nie bezpośrednio na serwerze fizycznym, a na maszynie wirtualnej. Dzięki takiemu rozwiązaniu zyskujemy możliwość wykonania backupu całej maszyny wirtualnej wraz z zainstalowanym i skonfigurowanym systemem WindEx. Zalecane jest, aby na jednej fizycznej maszynie była zainstalowana tylko jedna maszyna wirtualna. Takie rozwiązanie podyktowane jest wymogami co do wydajności. Systemy czasu rzeczywistego mają duże zapotrzebowanie na moc obliczeniową i nie można dopuścić, aby w sytuacjach krytycznych (np. awarie masowe – a co się z tym wiąże – duży strumień danych wejściowych z telemechaniki) maszyny wirtualne konkurowały między sobą o zasoby.

Jako hipervisora można użyć np. darmowego rozwiązania VMware ESXi lub innego równoważnego. Na tak przygotowanych serwerach można zainstalować pakiet np. MondoRescue. W skład pakietu wchodzi program mondoarchive, który nie jest interaktywny, a przez to jest użyteczny do tworzenia backupu w skrypcie shell systemu. Administrator systemu może przygotować odpowiednie skrypty dzięki, którym można wykonać backup całego systemu operacyjnego (plik ISO), samego systemu WindEx, czy jego fragmentów np. konfiguracji. Utworzone backupy zalecamy przechowywać na zewnętrznym serwerze NAS. Uzyskany obraz jest instalatorem zarchiwizowanego systemu Linux i po instalacji (restore) odbudowany system jest natychmiast gotowy do użycia. Dla potrzeb odtworzenia z nośnika jak np. DVD, obraz ISO systemu w czasie tworzenia musi być dzielony na pliki o określonej wielkości.

Odtworzenie tak przygotowanego systemu jest dużo łatwiejsze i znacznie mniej czasochłonne. Dodatkową zaletą używania maszyn wirtualnych jest uniezależnienie się od fizycznego sprzętu. ESXi „maskuje” fizyczny sprzęt serwera, dzięki czemu możliwe jest odtworzenie systemu na innej maszynie z innym sprzętem a z podobnymi zasobami. W przypadku konieczności wysłania serwera do serwisu producenta nie musimy czekać na jego powrót – można uruchomić system na serwerze tymczasowym a potem na docelowym. Zachęcamy do przyjrzenia się rozwiązaniom z zakresu wirtualizacji, gdyż w obecnej chwili żadne OSD nie może sobie pozwolić na awarie systemu SCADA i na ich długotrwałe wyłączenia.

Tomasz Dąbrowski
Apator Elkomtech SA