5 kroków skutecznej migracji danych

By 18/07/201917 września, 2020Artykuł
migracja_danych

Rozwój sieci to cel każdego operatora, ale na pewnym etapie informacje o niej są już tak obszerne, że nie sposób ich spamiętać. Przechowywanie ich w wielu różnych źródłach, często rozproszonych, nie sprawdza się w codziennej pracy. Coraz trudniej jest planować instalacje nowych klientów czy usuwać awarie. Sprzedawcy nie do końca wiedzą, z których rejonów można jeszcze pozyskiwać nowych klientów. Utrudniona jest też aktualizacja raportów do UKE – wszystko z powodu braku łatwo dostępnych danych.

Decyzja podjęta, program do paszportyzacji kupiony. Pierwszy krok za Tobą! Sama instalacja środowiska przeszła bez problemu, więc pozostaje pytanie: co teraz? Co należy zrobić, aby wizja uporządkowanej informacji o sieci, planowana przed zakupem systemu, stała się rzeczywistością?

Zadanie nie wydaje się skomplikowane, jest to jednak często dość pracochłonny proces dla wielu operatorów. Jak gromadzone z taką skrupulatnością dane, znajdujące się w różnych plikach, przenieść szybko do programu paszportyzacji?

migracja_danych

Poznaj sprawdzone praktyki, które ułatwią Ci zadanie i pozwolą ułożyć plan migracji danych – zobacz, jak krok po kroku przenieść dane do systemu paszportyzacji.

Krok 1 – Uporządkowanie i przygotowanie danych

Twoje dane, zanim znajdą się w systemie paszportyzacji, wymagają inwentaryzacji oraz uporządkowania. Zbierz wszystko co masz. Staraj się zgromadzić cały materiał. Na tym etapie nie wiesz jeszcze, czy dane są kompletne, poprawne i na tyle czytelne, że da się zidentyfikować elementy sieci i ich powiązania.

Przygotuj się do inwentaryzacji. Dobrze jest stworzyć tabelę, w której będziesz rejestrować każdy plik i dokument. Określ cechy każdego zbioru:

  • zakres danych,
  • warstwa sieci,
  • obszar, którego dotyczą,
  • format,
  • typ dokumentu (papier, plik),
  • kolejność ładowania,
  • czas migracji (na razie tego nie wiesz, ale gdzieś trzeba to odnotowywać, aby na końcu mieć koszt),
  • Planowany termin załadowania danych,
  • Pliki lub dokumenty powiązane,
  • Kompletność danych,
  • Poprawność danych.

Zakres informacji, które będziesz rejestrować, zależy od doświadczenia w realizacji tego typu przedsięwzięć. Zweryfikuj, w jakiej postaci dane są przechowywane i czy nadają się do automatycznego ładowania, czy też raczej będziesz wprowadzać je ręcznie. Dane dają się zazwyczaj podzielić na trzy grupy.

Dokumentacja elektroniczna do migracji automatycznej:

  • projekt powykonawczy (dxf, dwg, shp)
  • tabelaryczne zestawienia danych (xls, csv, tekst)
  • mapy ze strukturą sieci zewnętrznej (kml, kmz)
Dokumentacja elektroniczna, której nie można zamienić automatycznie na obiekty:

  • skany map
  • schematy ideowe (visio, corel, plik graficzny)
  • schematy wyprostowane (visio, corel, plik graficzny)
  • schematy połączeń w mufach (visio, corel, plik graficzny)
Dokumentacja papierowa:

  • projekt powykonawczy
  • schematy sieci
  • schematy połączeń w mufach
  • spisy z natury

Oprócz wymienionych typów danych należy też uwzględnić dodatkową dokumentację związaną z danym elementem sieci (np. zdjęcia, umowy dzierżawy, protokoły odbioru i inne).

Przygotuj dane – zweryfikuj spis wszystkich danych z podziałem na warstwy sieci. Na tym etapie warto też ocenić ich kompletność i spójność. Odpowiedz sobie na pytania:

  • Czy mam kompletne dane i dla jakich obszarów?
  • Czy dane są aktualne, a może coś się zmieniło w międzyczasie?
  • Czy brakujące dane potrzebuję mieć przed rozpoczęciem ładowania, czy mogę to zrobić po załadowaniu tego co mam?

Odpowiedzi należy zaznaczyć w tabeli dla każdej pozycji. Staramy się dokonać weryfikacji na tyle dokładnie, aby mieć pełny ogląd sytuacji.

migracja_danych_wykres

Krok 2 – Procedura utrzymania danych

Pomyśl o aktualizacji. Twoja sieć cały czas działa. Od momentu wprowadzenia danych do systemu paszportyzacji muszą być one utrzymywane. Aktualizacja wynika z normalnego użytkowania sieci. Podłączasz klientów, usuwasz awarie, rozbudowujesz lub rekonfigurujesz rozpływy. Jeżeli od razu nie zarejestrujesz ich w systemie, informacja ucieknie. Najlepszą praktyką jest przygotowanie procedury aktualizacji i wdrożenie jej przed rozpoczęciem migracji.

Procedura powinna określać:

  • Przypadki raportowania zmian,
  • Sposób raportowania zmian,
  • Role w procesie aktualizacji,
  • Odpowiedzialność osób za aktualizację i utrzymanie danych,
  • Weryfikację aktualności i poprawności danych,
  • Sposób uzupełniania brakujących danych.

Pierwsze zmiany zostaną zapewne zarejestrowane zanim jeszcze zmigrujesz dane. Warto, aby w okresie przejściowym również panować nad informacją o sieci. Ważne, aby już na początku nie wprowadzać do systemu danych nieaktualnych lub błędnych.

Ta procedura powinna działać na każdym etapie Twojej działalności. Przed migracją, podczas trwania projektu oraz później przy normalnej eksploatacji sieci.

Krok 3 – Ładowanie danych

To moment, kiedy warto doprecyzować plan projektu. Przejrzyj dane z Kroku 2 i ustal plan ładowania danych. Kolejność wprowadzania zbiorów danych zależy od wielu czynników, ale zwykle decydują:

  • posiadane dane – np. ładujesz najpierw dane w postaci elektronicznej, ponieważ to proces łatwiejszy do wykonania (np. projekt sieci zewnętrznej w DWG lub DXF), a dopiero potem resztę,
  • istotność danych, które aktualnie są potrzebne – np. nowy fragment sieci, gdzie będziesz wkrótce podłączać klientów. Sieć już używana może poczekać, bo i tak niewiele się tam teraz zmienia.

Plan ładowania warto odnotować w tabeli inwentaryzowanych danych. Na tym etapie musisz określić kolejność, aby potem nie marnować czasu na niepotrzebne „skoki” od pliku do pliku, od dokumentu do dokumentu. Chaos jest Twoim przeciwnikiem i unikaj go za wszelką cenę.

Na tym etapie możliwych jest wiele scenariuszy, zależnych od stanu posiadanych danych, celów biznesowych, bieżących inwestycji itd. Najczęściej spotykanym modelem postępowania jest ładowanie danych zgodnie z poniższym diagramem.

Jeśli twoja sieć jest na tyle duża, że wymaga podzielenia na fragmenty, migrację danych możesz również podzielić na dogodne do modelowania obszary geograficzne.

Dużo zależy od typu posiadanych danych. Być może importujesz całą sieć zewnętrzną z kilku podkładów DWG, a następnie wstawiasz elementy wewnętrzne. Inny możliwy scenariusz to importowanie jednego fragmentu sieci od początku do końca, a następnie każdego kolejnego w ten sam sposób.

Sieć zewnętrzna_ - import danych z DWG - import z tabel

Krok 4 – Weryfikacja kompletności i poprawności danych

Zaplanuj proces weryfikacji danych. Wprowadzanie sieci do programu powinno się zakończyć weryfikacją poprawności jej zamodelowania. Błędy mogą się pojawić z kilku różnych powodów:

  • Dane były niepoprawne lub niepełne,
  • Spora część sieci modelowana była ręcznie,
  • W trakcie migracji na sieci pojawiły się zmiany.
Zaplanuj weryfikację danych po każdym większym ich załadowaniu. Próbki danych dobierz losowo, ale tak, aby uzyskać przegląd całej sieci. Dane wraz z upływem czasu mogą się dezaktualizować. Każdy zbiór danych, a raczej jego próbkę, należy więc zweryfikować pod kątem dwóch istotnych kwestii:

  • Poprawność danych
  • Kompletność danych

Do weryfikacji poprawności należy wykorzystać kilka próbek statystycznych. Ich liczba i wielkość zależą od wielkości analizowanego zbioru danych. Metody statystycznej oceny poprawności badanego zbioru znajdziesz w odpowiedniej literaturze lub Internecie (pod hasłem: statystyczna kontrola jakości).

Krok 5 – Uzupełnienie brakujących danych

Zinwentaryzowane zbiory mogą zawierać niekompletne lub nieaktualne dane o sieci. Aby uzupełnić lub zaktualizować dane, często trzeba pojechać w teren i ustalić stan bieżący. Zakres takich prac i ich tempo zależą od tego, jak szybko potrzebne są dane. Jeśli nie musisz się spieszyć, zbieraj dane sukcesywnie w trakcie codziennych prac utrzymaniowych.

Niezależnie od tego, jak chcesz uzupełniać dane, ich zbieranie musisz zaplanować. W wielu firmach zadanie to staje się małym projektem. Celem jest aktualizacja opisu sieci w systemie paszportyzacji. Odradzamy odkładanie tych zadań – istnieje ryzyko, że nie zakończysz nigdy migracji danych. Jeśli tylko stwierdzisz, że trzeba pozyskać dane, od razu zaplanuj, kiedy i w jaki sposób chcesz tego dokonać.

Wiesz już, jak wygląda modelowa migracja danych – aby poprawnie przeprowadzić ten proces, nie należy omijać żadnego kroku i starannie zaplanować działania.  Poprawnie wykonany proces migracyjny sprawi, że odczujesz wszystkie korzyści systemu paszportyzacji.

Chętnie Ci w tym pomożemy – mamy ponad 20 lat doświadczenia!