2011.12.13 - benchmark Voice & Data

Wyniki pomiarów usług głosowych

Dostępność i czas nawiązywania połączenia:

Dostępność sieci wypadła bardzo korzystnie dla sieci Plus i T-Mobile. Orange miał niewielkie problemy z dostępnością w trybie Dual przy próbach nawiązania połączenia wychodzącego. Najgorzej wypadła sieć Play, która miała duże problemy z dostępnością w trybie 2G dla połączeń przychodzących i znacznie mniejsze w trybie Dual dla połączeń wychodzących.
Czasy zestawiania połączeń wypadły korzystnie dla T-Mobile i Orange przy połączeniach inicjowanych przez serwer, natomiast dla połączeń inicjowanych przez terminal lepiej wypadły sieci Play i Plus, szczególnie w trybie 2G.
Problemy ze zrywaniem połączeń pojawiły się w T-Mobile oraz mniejsze w Play, w obu przypadkach występowały one w trybie DUAL.

Telephony Service Non-Accessability	Telephony Setup Time	Telephony Cut-off Ratio

Jakość prowadzonych rozmów:

Pod względem jakości połączeń głosowych w kierunku do serwera najmniej korzystnie wypadły T-Mobile i Orange w trybie DUAL, natomiast w trybie 2G wyniki były wyrównane, jedynie Plus lekko odstawał. Wyniki uśrednione dla próbek przesyłanych do telefonu w trybie Dual wypadły porównywalnie dla Orange i Play, nieco gorzej wypadł T-Mobile i zauważalnie gorzej Plus. W trybie 2G najgorzej poradził sobie Plus, przed nim uplasował się minimalnie lepszy Play. Najlepiej wypadł Orange.

Speech Quality on Sample basis	Speech Quality on Call basis

Wyniki zbiorcze:

Komentarz zdecydowanie należy się sieci Play za 12,84% w Voice Service Non-Accessibility. Tak wysoki wskaźnik wynika z przekroczenia czasu 20s w jakim połączenie powinno zostać zestawione.

Telephony Service KPI's

Wyniki pomiarów usług transmisji danych

Wyniki niezależne od typu transmisji

Dla pomiarów usług w domenie pakietowej w trybie DUAL różnice widać na etapie attachowania się do sieci, gdzie najkrótsze średnie czasy miał Orange i Play. Daleko za nimi uplasował się Plus. Jeszcze większe różnice można zauważyć podczas nawiązywania kontekstu PDP, gdzie Orange wypadł bardzo słabo, czasy w jego wypadku były 4 do 5 razy dłuższe niż konkurencji. Warto zauważyć że średni Data Call Access Time jest najkrótszy dla Play, mimo krótszych czasów dla Attach i PDP Context Activation sieci T-Mobile.
W trybie 2G nie wykonano pomiarów dla Play. Za to znów Orange uzyskuje najdłuższe średnie czasy dla Attach, PDP Context Activation oraz Data Call Access, choć są one znacznie bliższe konkurencji.

Service Independent KPI's

Jakość transmisji danych z wykorzystaniem FTP:

Najlepszy średni czas dostępu do usługi FTP zarówno w trybie 2G i DUAL uzyskał Plus dla pobierania. Słabo wypadł Play. W przypadku wysyłania znakomicie wypadł T-Mobile. Niespodziewanie Plus uzyskał słabe wyniki w trybie DUAL. Szybkość transferu dla 2G jest praktycznie równa, natomiast dla DUAL Plus wiedzie prym, zdecydowanie słabiej wypadł Orange, za nim uplasował się T-Mobile. Na ostatnim miejscu znalazł się Play z transferem dwukrotnie niższym od najgorszego w W3 T-Mobile.

Download Service Access Time	Upload Service Access Time	Download Mean User Data Rate

Upload Mean User Data Rate

Wyniki zbiorcze dla transmisji FTP:

FTP Service KPI's Dual Mode	FTP Service KPI's 2G Mode

Jakość transmisji danych z wykorzystanie HTTP

Znów wyśmienicie wypada sieć Play zarówno jeżeli chodzi o czasy minimalne, jak i średnie. Plus zamyka stawkę w trybie DUAL, ale otwiera w 2G, w którym słabo sobie poradził T-Mobile.

HTTP Service Access Time	HTTP Mean Data Rate

Wyniki zbiorcze dla transmisji HTTP:

HTTP Service KPI's

RTT:

Zdecydowanie konkurencję zdystansował Play w czasach minimalnych, a w jeżeli chodzi o wartości średnie absolutnie był nieporównywalny. W DUAL tradycyjnie Orange wypadł najsłabiej.

Round Trip Time

 

Informacje ogólne

• Kampania pomiarowa została przeprowadzona na terenie Warszawy,
• w terminie 13.12.2011 w godzinach 10:40-15:30,
• w czasie 4 godzin 50 minut przejechane zostało 77km.

Do pobrania

PDF z powyższymi wynikami dla usług głosowych
PDF z powyższymi wynikami dla usług transmisji danych
Opis prezentowanych wskaźników zgodnych z normami ETSI możesz obejrzeć tutaj.

Zestaw pomiarowy

Pomiary zostały wykonane za pomocą jednego pojazdu pomiarowego wyposażonego w zestaw 8 kanałów wykorzystywanych do badań jakości połączeń głosowych i 7 kanałów przeznaczonych do badań jakości transmisji danych.

Sprzęt do pomiarów usług głosowych	Sprzęt do pomiaru usług transmisji danych
Komputer przenośny Oprogramowanie Nemo Outdoor w wersji 5.31 Zestaw kart dźwiękowych do obsługi połączeń głosowych – Nemo Audio Telefony – 4x Nokia N95 Urządzenie GPS Bateria Oprogramowanie na serwerze głosowym: Nemo Server 2.1	Komputer przenośny Oprogramowanie Nemo Outdoor w wersji 5.31 Modem – Sierra Compass 885 Urządzenie GPS Bateria Standardowe serwery Apache, FTP

Połączenia głosowe były wykonywane przy użyciu serwerów głosowych umiejscowionych w biurze i podłączonych do linii telefonicznych typu ISDN jednego dostawcy.
Serwery przy pomocy których były realizowane testy usług transmisji danych były realizowane przy wykorzystaniu maszyny umiejscowionej w pobliżu i podłączonej do punktu styku międzyoperatorskiego z gwarantowanym pasmem umożliwiającym maksymalny jednoczesny transfer do wszystkich sieci komórkowych.