5 kroków skutecznej migracji danych

By 18/07/2019 Artykuł
migracja_danych

W życiu każdego operatora przychodzi moment, kiedy informacje o sieci są już tak obszerne, że nie sposób ich spamiętać. Przechowywanie ich w wielu różnych źródłach, często rozproszonych, także nie jest przydatne w codziennej pracy. Okazuje się, że coraz trudniej jest planować instalacje nowych klientów czy usuwać awarie. Sprzedawcy nie do końca wiedzą gdzie można pozyskiwać nowych klientów. Nie da się nie wspomnieć o raportach do UKE, które chcielibyśmy zaktualizować, ale zadanie utrudnia brak łatwo dostępnych danych.

Podjąłeś już decyzję i kupiłeś program do paszportyzacji. Pierwszy krok wykonany! Sama instalacja środowiska przeszła bez problemu, więc pozostaje pytanie: co teraz? Co należy zrobić, aby wizja uporządkowanej informacji o sieci, którą miałeś przed zakupem systemu, stała się rzeczywistością?

Samo zadanie wydaje się nieskomplikowane, jednak to często dość pracochłonny proces i wyzwanie dla wielu operatorów. Jak gromadzone z taką skrupulatnością dane, znajdujące się w różnych plikach, przenieść szybko do programu paszportyzacji?

migracja_danych

Są sprawdzone praktyki, które ułatwią Ci zadanie i pozwolą ułożyć plan migracji danych – zobacz, jak krok po kroku przenieść dane do systemu paszportyzacji.

Krok 1 – Uporządkowanie i przygotowanie danych

Twoje dane zanim znajdą się w systemie paszportyzacji wymagają zinwentaryzowania i uporządkowania. Zbierz wszystko co masz. Staraj się zgromadzić cały materiał. Na tym etapie nie wiesz jeszcze czy dane są kompletne, poprawne i na tyle czytelne, że da się zidentyfikować elementy sieci i ich powiązania.

Przygotuj się do inwentaryzacji. Dobrze jest stworzyć tabelę, w której będziesz rejestrował każdy plik i dokument. Określ cechy każdego zbioru:

  • zakres danych,
  • warstwa sieci,
  • obszar którego dotyczą,
  • format,
  • typ dokumentu (papier, plik),
  • kolejność ładowania,
  • czas migracji (tego na razie nie wiesz ale gdzieś trzeba będzie to później odnotowywać aby na końcu mieć koszt),
  • Planowany termin załadowania danych,
  • Pliki lub dokumenty powiązane,
  • Kompletność danych,
  • Poprawność danych.

Zakres informacji, które będziesz rejestrował zależy od Twojego doświadczenia w realizacji tego typu przedsięwzięć. Potrzebujesz zweryfikować w jakiej postaci dane są przechowywane i czy nadają się do automatycznego ładowania, czy może będziesz musiał wprowadzać je ręcznie. Dane dają się zazwyczaj podzielić na trzy grupy.

Dokumentacja elektroniczna do migracji automatycznej:

  • projekt powykonawczy (dxf, dwg, shp)
  • tabelaryczne zestawienia danych (xls, csv, tekst)
  • mapy ze strukturą sieci zewnętrznej (kml, kmz)
Dokumentacja elektroniczna, której nie można zamienić automatycznie na obiekty:

  • skany map
  • schematy ideowe (visio, corel, plik graficzny)
  • schematy wyprostowane (visio, corel, plik graficzny)
  • schematy połączeń w mufach (visio, corel, plik graficzny)
Dokumentacja papierowa:

  • projekt powykonawczy
  • schematy sieci
  • schematy połączeń w mufach
  • spisy z natury

Oprócz wymienionych typów danych, należy też uwzględnić dodatkową dokumentację związaną z danym elementem sieci (np. zdjęcia, umowy dzierżawy, protokoły odbioru i inne).

Przygotuje dane, czyli zweryfikuj spis wszystkich posiadanych danych z podziałem na warstwy sieci. Na tym etapie warto abyś dokonał oceny kompletności i spójności posiadanych danych. Powinieneś być w stanie odpowiedzieć na pytania:

  • Czy mam kompletne dane i dla jakich obszarów?
  • Czy te dane są aktualne, czy coś się może zmieniło w międzyczasie?
  • Czy brakujące dane potrzebuję mieć przed rozpoczęciem ładowania czy mogę to zrobić, po załadowaniu tego co mam?

Odpowiedzi należy zaznaczyć w tabeli dla każdej pozycji. Staramy się dokonać weryfikacji na tyle dokładnie aby mieć pełny ogląd sytuacji.

migracja_danych_wykres

Krok 2 – Procedura utrzymania danych

Pomyśl o aktualizacji. Twoja sieć cały czas żyje. Od momentu wprowadzenia danych do systemu paszportyzacji, muszą one podlegać utrzymaniu. Aktualizacja wynika z normalnego użytkowania sieci. Podłączasz klientów, usuwasz awarie, rozbudowujesz lub rekonfigurujesz rozpływy. Jeżeli od razu tego nie zarejestrujesz w systemie to ta informacja ucieknie. Najlepszą praktyką jest przygotowanie procedury aktualizacji i wdrożenie jej przed rozpoczęciem migracji.

Procedura powinna określać:

  • Przypadki raportowania zmian,
  • Sposób raportowania zmian,
  • Role w procesie aktualizacji,
  • Odpowiedzialność osób za aktualizację i utrzymanie danych,
  • Weryfikację aktualności i poprawności danych,
  • Sposób uzupełniania brakujących danych.

Pierwsze zmiany zostaną zapewne zarejestrowane zanim jeszcze zmigrujesz dane. Warto aby w okresie przejściowym również panować nad informacją o sieci. Jest istotne aby już na początku nie wprowadzać do systemu danych nieaktualnych lub błędnych.

Ta procedura powinna działać na każdym etapie Twojej działalności. Przed migracją, podczas trwania projektu oraz później przy normalnej eksploatacji sieci.

Krok 3 – Ładowanie danych

To jest moment kiedy powinieneś doprecyzować swój plan projektu. Przejrzyj dane z Kroku 2 i doprecyzuj plan ładowania danych. Kolejność wprowadzania posiadanych zbiorów danych zależy od wielu czynników ale zwykle decydują:

  • posiadane dane – np. ładujesz najpierw to, co masz w postaci elektronicznej, ponieważ to łatwiejszy do wykonania proces (np. projekt sieci zewnętrznej w DWG lub DXF), a potem resztę,
  • istotność danych, które teraz aktualnie są potrzebne – np. nowy fragment sieci, gdzie będziesz podłączać klientów jest teraz najważniejszy. Sieć już używana może poczekać, bo tam i tak niewiele się teraz zmienia.

Plan ładowania powinieneś odnotować w swojej tabeli zinwentaryzowanych danych. Na tym etapie musisz określić kolejność aby potem nie marnować czasu na niepotrzebne skakanie od pliku do pliku, czy od dokumentu do dokumentu. Chaos jest Twoim przeciwnikiem i unikaj go za wszelką cenę.

W tym miejscu możliwych jest wiele scenariuszy zależnych od stanu posiadanych danych, celów biznesowych, etapu bieżących inwestycji, itd. Najczęściej spotykanym modelem postępowania, który dotyczy 70% przypadków, to ładowanie danych zgodnie z poniższym diagramem.

Jeśli twoja sieć jest na tyle duża, że wymaga podzielenia na fragmenty, migrację danych możesz również podzielić na dogodne do modelowania obszary geograficzne.

W tym miejscu dużo zależy od typu posiadanych przez Ciebie danych. Może być tak, że importujesz całą sieć zewnętrzną z kilku podkładów DWG, a następnie wstawiasz elementy wewnętrzne. Inny możliwy scenariusz to zrobienie jednego fragmentu sieci od początku do końca, a następnie każdego kolejnego w ten sam sposób.

Sieć zewnętrzna_ - import danych z DWG - import z tabel

Krok 4 – Weryfikacja kompletności i poprawności danych

Zaplanuj proces weryfikacji danych. Wprowadzanie sieci do programu powinieneś zakończyć weryfikacją poprawności jej zamodelowania. Błędy mogą się pojawić z kilku różnych powodów:

  • Dane były niepoprawne lub niepełne,
  • Spora część sieci modelowana była ręcznie,
  • W trakcie migracji na sieci pojawiły się zmiany.
Zaplanuj weryfikację danych po każdym większym ich załadowaniu. Próbki danych dobierz losowo ale tak aby mieć przegląd całej sieci. Dane wraz z upływem czasu mogą się dezaktualizować. Każdy zbiór danych, a raczej jego próbkę, należy więc zweryfikować pod względem dwóch istotnych kwestii:

  • Poprawność danych
  • Kompletność danych

Do weryfikacji poprawności należy wykorzystać kilka próbek statystycznych. Ich liczba i wielkość zależą od wielkości analizowanego zbioru danych. Metody statystycznej oceny poprawności badanego zbioru znajdziesz w odpowiedniej literaturze lub Internecie (pod hasłem: statystyczna kontrola jakości).

Krok 5 – Uzupełnienie brakujących danych

Zinwentaryzowane zbiory mogą zawierać niekompletne lub nieaktualne dane o sieci. Aby uzupełnić czy też zaktualizować dane, często trzeba pojechać w teren i ustalić stan bieżący. Zakres takich prac i ich tempo zależą od tego, czy dane są potrzebne jak najszybciej. Jeśli nie, możesz je zbierać sukcesywnie w trakcie codziennych prac utrzymaniowych.

Niezależnie od tego jak chcesz te dane uzupełniać, to ich zbieranie musisz zaplanować. W wielu firmach robi się z tego zadania mały projekt. Celem jest doprowadzenie do aktualności opisu sieci w systemie paszportyzacji. Nie możesz tego odkładać zbytnio w czasie, bo istnieje ryzyko, że nie zakończysz nigdy migracji danych. Jeśli tylko stwierdzisz, że trzeba pozyskać dane, to od razu zaplanuj kiedy i w jaki sposób chcesz tego dokonać.

Wiesz już, jak wygląda modelowa migracja danych – aby poprawnie przeprowadzić ten proces, nie należy omijać żadnego kroku i starannie zaplanować działania.  Poprawnie wykonany proces migracyjny sprawi, że odczujesz wszystkie korzyści systemu paszportyzacji.

Chętnie Ci w tym pomożemy – mamy ponad 20 lat doświadczenia!