LTE czyli sukces w Radomiu!

LTE czyli sukces w Radomiu!

Naszą przygodą z tym projektem zaczęliśmy dawno bo w styczniu ubiegłego roku i tylko za pośrednictwem FB informowaliśmy o jego przebiegu. Projekt od początku był dla Nas przełomowy ponieważ wraz z nim  wchodziliśmy w erę usług 4G. System LTE jest typową technologią dostępową i do tych celów należy ją wykorzystywać, gdyż ciężko integruje się za jej pomocą usługi warstwy L2. Choć nie mówimy iż jest to nie wykonalne ponieważ w Płocku udało nam się zintegrować za jej pomocą sieć transmisyjną, ale o tym innym razem.

Wracając do tematu, od samego początku wiedzieliśmy iż  będzie trudny i wymagający projekt ponieważ był on  wielozakresowy ,w swojej genezie zawierał konieczność zaprojektowania, budowy, integracji  i serwisu infrastruktury eLTE oraz centrum przetwarzania danych. Czym samym skupiał on w sobie zakresy branż:

punkt Telekomunikacyjnej

punkt Informatycznej

punkt Budowlanej (specjalność konstrukcyjno-budowlana, elektryczna)

Na całość Zamawiający zaplanował 9 miesięcy. We wstępnych analizach określiliśmy pojemność infrastruktury w jej poszczególnych warstwach. Do sieci miało zostać podłączonych 1500 Beneficjentów i do nich miała być realizowana szerokopasmowa (DL: 2Mb/s UL: 512kb/s) usługa bezpłatnego dostępu do sieci Internet.  Zamawiający na realizację tej usługi zarezerwował w UKE pasmo o łącznej szerokości 2x 14 MHz (4 kanały dupleksowe 3.5MHz) W założeniach przyjęliśmy overbooking na poziomie 1:6 z modelu propagacyjnego wynikało iż optymalną liczbą stacji bazowych będzie 10. Wiedząc to wszystko przystąpiliśmy do kalkulacji, wynikało z nich iż w każdym węźle dostępowym powinniśmy mieć dostępne minimum 50 Mb/s. Jednym z wymagań Klienta było aby każdy z węzłów miał redundantne połączenie z siecią szkieletową co wymuszało na Nas konieczność zaprojektowania topologii sieci szkieletowej w modelu RING. Wymóg ten znacząco podniósł zapotrzebowanie na przepływność w poszczególnych relacjach ponieważ na jednym odczepie musieliśmy podłączyć minimum dwa węzły dostępowe, zapewniając w relacji do przełącznika agregacyjnego pojemność krotności podłączonych stacji z co najmniej 25% rezerwy dla innych eNodeB w przypadku awarii.

Równolegle do analiz przebiegał proces zamówienia rozwiązania LTE  wraz z pozyskiwaniem dokumentacji umożliwiającej  późniejszą integracje. Na tamten okres jedynym dostawcą który spełniał wymagania co do kompatybilności systemu ze standardem LTE rel. 8 i 9 była firma Huawei ze swoją platformą EPC eCNS600 i węzłem dostępowym eNodeB DBS3900, jako system zarządzania wybrany został produkt iManager2000. Specyfikacja  systemu wymusiła na Nas pewne nadmiarowości względem Naszych kalkulacji pojemnościowych i symulacji zasięgowych. W pierwszym modelu 7 z pośród 10 stacji miało być 3 sektorowymi węzłami dostępowymi pozostałe miały być 4 sektorowe, jednak architektura platformy sprzętowej w porównywalnej cenie oferowała model stacji 4 sektorowej. Z 2 modułów radiowych RRU możliwe jest uruchomienie 4 logicznych CELL 2×2 MIMO, jak widać dodatkowy sektor niósł za sobą tylko konieczność dokupienia dodatkowej anteny oferując tym samym lepszą gęstość sygnału i dodatkową pojemność dla sieci. W rezultacie każdy węzeł eNodeB oferuje 160 Mb/s zaagregowanej przepływności, jako główny węzeł sieci szkieletowej wybrano budynek Uniwersytetu położonego w centralnej części miasta. Z niego wyprowadzona jest gwiazda która następnie połączeniami z kolejnymi stacjami zapina się w RING. Zdecydowaliśmy się aby wszystkie połączenia miały tę samą przepływność tj. 250 Mb/s i były oparte o platformę NEC iPasolink400. Ponieważ wybrana platforma jest zintegrowanym rozwiązaniem do budowy sieci szkieletowych, wyposażona jest w 4 portowy przełącznik Metro ethernetowy i z jego pomocą uruchomiliśmy protokół RSTP, który po właściwym skonfigurowaniu wartości kosztów i stanów przeciwdziała zjawisku pętli jak również  w przypadku awarii zapewnia funkcjonalności połączeń redundantnych.

Po analizie wymagań i możliwości nadszedł czas na etap projektowania. Do zaprojektowania mieliśmy:

punkt  6 konstrukcji aluminiowych

punkt 2 instalacje elementów stacji bazowych na  stropodachu z konstrukcjami balastowymi

punkt 2 instalacje na kominach ciepłowniczych H-150m i H-90m

punkt projekt linii światłowodowej w relacji CPD-UTH

punkt 10 projektów WLZ

W naszych obowiązkach pozostawało także opracowanie projektu adaptacji pomieszczenia na potrzeby Centralnego Punktu Dystrybucyjnego. To zadanie zdecydowaliśmy się przekazać do realizacji lokalnej firmie TechNet, sprawując tym samym tylko nadzór nad przebiegiem tych prac. Dla każdej wybudowanej, zaadaptowanej instalacji wykonaliśmy także projekt instalacji elektrycznej, we wszystkich przypadkach były to instalacje typu WLZ z istniejących rozdzielnic obiektowych.  Szczęśliwie szybko udało nam się uzyskać wymagane aprobaty i uzgodnienia od Zamawiającego i innych organów i w czerwcu zgodnie z litera prawa mogliśmy rozpocząć budowę.

Zadowoleni ze współpracy z firmą TechNet po negocjacjach przekazaliśmy im także do wykonania projekt adaptacji pomieszczenia na potrzeby CPD. Cała reszta należała do Nas. Równolegle zaczęliśmy budowę 5 obszarów. Ekipa pierwsza pracowała nad konstrukcjami aluminiowymi, druga instalowała wymaganą infrastrukturę na kominach i stropodachach, trzecia zajmowała się instalacjami elektrycznymi, Technet pracował nad CPD. Wszyscy wtedy uważaliśmy że iż jest to totalne szaleństwo, grafik był tak napięty, iż zwykły dzień pracy trwał ponad 10 godzin. Wszyscy jednak czuliśmy że pracujemy nad czymś przełomowym dzięki czemu morale  poszybowały tworząc nową jakość.

Nie żeby nie było przeszkód podczas budowy bo już choćby cała praca ślusarska była czasochłonna, to grubość stropu czy ocieplenia inna. Dwa razy  ramki separacyjne do anten  zmieniane, zmagania dt. uchwytów na kable transmisyjne,trytka?czy fimo?, klampa od RRU nie ta, światłowód za krótki  i mnóstwo innych  przypadków którym trzeba było  przeciwstawić. Długo by  wymieniać… Szczęśliwie  udało się i słowa uznania lecą dla Halyna, Nataka Strzelec, BOB Fac, Szyper Furman, Daniel Słomka, Pacio Lipka, Maciej Pliszka.   

Towar zawieszony, kable działają trzeba włączać do prądu. Pierwszy był u nas Artur Zhanglei, młody ambitny inżynier Huawei z departamentu Carrier ,   zaczął integrację od uruchomienia serwera EMS iManager2000 dzięki czemu kolejne elementy sieci uruchamiał end to end. Wszystko pięknie tylko system plików okazał się nie odporny na nieprzewidziany restart co poskutkowało wysypaniem Linuxa, ale kto by pamiętał. Kończąc pracę Artur  pochwalił nas  za sprawną integrację sieci szkieletowej, gdyż jak przywykł transmisja jest zawsze ostatnimi zarazem najsłabszym ogniwem w procesie inwestycyjnym, a u nas  była gotowa on-time! W tym samym czasie w CPD przygotowywana była platforma do przetwarzania danych. Do zorganizowania były 4 kasetowe Dell’e, z czego 2 zostały użyte do uruchomienia fail over cluster na Windows serwer 2008 z Hypeer V , na pozostałych dwóch uruchomiliśmy wirtualizację VMware i ProxMox. Dyski do maszyn zwirtualizowanych mapowane są za pomocą iSCSI z ponad 5TB macierzy.

Czyli co? LTE działa, zbieranie logów zapewnione, budowa skończona, przetestowane. Można przekazać. Oczywiście podczas odbiorów powrócił problem  trytek, izolacji na taśmie mastykowej i inne tego typu, ale…

…Odebraliśmy budowę jest FETA 😀

Po regeneracji zaczęliśmy wdrażać plan włączeń, 1500 mieszkań z czego 500 z dostawą PeCeta!! Pierwszy tydzień to Łaaaa w ogóle co jest pięć? Ile ludzi  tu trzeba, ile pracy logistycznej, żmudnej magazynowo-przygotowawczej. Każde CPE od przygotowania do instalacji przejść musiało przez co najmniej 3 pary rąk z czego Halyna przekładała dwa razy :).  Okej szybki rekonesans i już wiemy potrzeba 15 ekip i minimum 36 montaży dziennie aby wyrobić się w czasie. Uruchomione kontakty i po pierwszym tygodniu od znaku rozpoczęcia włączeń wydajność przekraczała 43 sztuk dziennie. Wszystko idzie zgodnie z planem  do komunikatu:  Kuca panie Kapitanie! Infolinia spuchła, LTE spociło. ALARM załogo. Reakcja – redukcja instalacji do 3 ekip,  przegląd zgłoszeń serwisowych i…

Analiza wykazała, wynajęci instalatorzy nie zawsze należycie wykonują swoją pracę, niepraktyczny kabel instalacyjny FTP, konieczna optymalizacja sieci szkieletowej i dostępowej.   Akcja reakcja, gramy! Nowym kolegom raz jeszcze pokazaliśmy jak ma wyglądać montaż, odwiedziliśmy z nimi montaże które do tej pory odbiegały od standardów z wymogiem ich poprawy, kabel FTP wymieniliśmy na zewnętrzny UTP i ta nieszczęśliwa optymalizacja. Zaczęliśmy od weryfikacji zgodności połączeń antenowych z konfiguracją i modelem propagacyjnym. Kolejno przeszliśmy do sieci szkieletowej, zsynchronizowaliśmy zegary, poprawiliśmy polaryzację i usprawniliśmy protokoły transmisyjne. Do pomocy z LTE HW oddelegowało 2 inżynierów Yuqi’ego  i Wangshenggui. Goście pełen profesjonalizm widać iż pracowali blisko HQ widząc ich szeroki horyzont i znakomitą dyscyplinę w analizowaniu przypadku. W przeciągu 2 tygodni uwolnione zostało  40 Mb/s dodatkowego pasma , a ilość zgłoszeń serwisowych została wyzerowana.

Po całej akcji która trwała około 2 tygodni wróciliśmy do poprzedniej wydajności włączeń, między czasie zaczęliśmy wydawać Pecety prace posuwały się do przodu. Gdy ilość podłączonych CPE osiągnęła liczbę ponad 1000, wymiar usługi zaczął przekraczać 100 Mb/s. Wszystkich cieszyło iż sieć jest w końcu wydajna i znakomicie  skaluje do potrzeb. Natomiast monitoring i testy stabilizacyjne sieci dały podstawy sądzić, że wdrożenie i optymalizacje należy uznać za zakończone. Chwile potem do zakupionego przez nas sprzętu Producent wydał właśnie  oprogramowanie V2. Z realese notes, wyczytaliśmy iż upgrade wprowadza  kilka niezłych ficzerów, które w znacznym stopniu mogą poprawić  bezpieczeństwo i dostępność sieci. Po kalkulacji ryzyk jakie niosła za sobą taka aktualizacja, a niosła ich sporo gdyż do podbicia był każdy element sieci: EPC, eNodeB oraz iManager2000, a przede wszystkim sieć działała już komercyjnie z uruchomioną usługą serwisową. Zdecydowaliśmy się zaplanować i przeprowadź tę operację. Zadanie zaplanowane zostało na sobotni poranek, upgrade przewidywał brak dostępu do usługi  do 40 minut. Jak się okazało sam proces aktualizacji nie był szczególnie skomplikowany dzięki czemu przerwa w dostawie usługi nie przekroczyła 20 minut. Trudnością natomiast okazały się konieczne zmiany w konfiguracjach, wynikające ze zmiany wersji, ale i z tym uporaliśmy. Po zakończeniu  zadania mogliśmy zaplanować wdrożenie nowych ficzerów tj.:

punkt Logiczny rozdział ruchu managementowego i usługowego w niezależnych sieciach Vlan,

Do tej pory interfejsy SGi, S1-C, S1-U znajdować musiały się w tej samej domenie rozgłoszeniowej co najwyżej w innych podsieciach IP. Po aktualizacji mogliśmy każdy z tych interfejsów umieścić w innej sieci Vlan, dzięki czemu sieć stała się bardziej bezpieczna i prostsza w ograniczaniu w przypadku infekcji wirusowej.  Podczas wdrożenia do konfiguracji były dziesiątki portów w sieci szkieletowej, żmudna i skrupulatna praca na wielu kartach i oknach. Przy okazji tej pracy zdecydowaliśmy się także na poprawę dostępu do sieci iPasolink migrując ją także do oddzielnego Vlan’u. Po całodniowej klikance udało się wszystkie sieci odseparować od siebie i zapewnić sobie do nich dostęp z centralnego punktu.

punkt Uruchomienie funkcji Trunk port

Ficzer ten daje możliwość podziału obciążenia pomiędzy fizycznymi portami EPC i przełącznika. Zdecydowaliśmy się utworzyć jeden Trunk składający się z 4 portów fizycznych i przesyłać przez niego sieci Vlan przypisane dla interfejsów SGi, S1-u, S1-C. Dzięki czemu jesteśmy gotowi aby w pełni wykorzystać możliwości platformy eCNS600 tj. transmitować 4 Gb danych na sekundę. Ponadto sieć zyskała na dostępności, gdyż dopiero w przypadku awarii 4 portów jednocześnie usługa nie będzie mogła być świadczona. Obłęd!

Czas podsumować. Słowa uznania dla Zamawiającego za odwagę przy realizacji i pomysł takiej samej inwestycji. Sieć faktycznie trafiła do dużej liczby osób którzy faktycznie tego potrzebowali. Dla nas projekt  był znakomitym wyzwaniem, po raz pierwszy jako generalni realizowaliśmy zadanie, gdzie na wyposażeniu był w pełni profesjonalny sprzęt telekomunikacyjny. Możliwość współpracy z największym graczem na rynku firmą Huawei. Podczas realizacji udało nam się podpisać z HW kontrakt partnerski dzięki czemu mamy znakomity dostęp do bazy wiedzy o technologiach i rozwiązaniach. Ładunek wiedzy który przyjęliśmy już procentuje, a to dopiero początek gdyż wg. analiz rynek dopiero zacznie chłonąć technologię LTE, przy czym my jesteśmy w pełni na to gotowi. Wisienką na torcie tej całej akcji był trening w Huawei University w Shenzen to naprawdę daleko, ale wierzymy że właśnie dlatego zajdziemy jeszcze dalej i wyżej!

Od tej pory  z pełną odpowiedzialnością za słowo, jesteśmy  w stanie  zaoferować  Klientowi profesjonalną  usługę  projektowania, migracji, wdrożenia i serwisowania technologii LTE. Co w połączeniu z dotychczasowym doświadczeniem daje nam znakomitą pozycję, aby w następnych latach dalej odpowiadać za cyfrową rewolucję.

 

Do usłyszenia na fali 3.4-3-6 GHz….
HCekipa   

 

 

 

 

 

Galeria

Chwile które nie uleciały:

Prace na wysokości i w trudnych warunkach

Prace na wysokości i w trudnych warunkach

Dysponujemy  sprzętem do pracy na wysokości i w dostępie linowym
Przeszkolony personel do pracy na wysokości gwarantuje realizację inwestycji szybko i bezpiecznie
Jesteśmy otwarci do pracy w ciężkich warunkach,  dzięki wiedzy i doświadczeniu właściwie dobierzemy sprzęt i środki ochrony aby w pełni zabezpieczyć Siebie i Państwa zlecenie