Pentru descrierea generală a canalului de comunicare și construcția teoriei informației se folosește același model. Un canal se numește discret (continuu) dacă se mulțumesc XȘi Y discret (continuu) și semi-continuu dacă una dintre mulțimi este discretă și cealaltă este continuă. Doar canalele discrete sunt discutate mai jos.

Canalul este complet descris de probabilitățile condiționate ca simbolul k-ì primit să fie

jk al-lea simbol al setului Y (j k = 1, m y ).

Această probabilitate poate fi considerată ca o funcție , al cărui tip reflectă starea canalului, în special, natura interacțiunii dintre interferență și semnal. Dacă

atunci canalul corespunzător se numește canal fără memorie. Dacă probabilitatea nu depinde de k(vs. timp), atunci canalul corespunzător se numește staționar. Ne vom limita să luăm în considerare doar canalele staționare fără memorie. Să definim rata de transfer de informații ca limită:

unde este media informației reciproce dintre transmise și primite. Dacă nu există interferențe H(X/Y)=0, prin urmare, R = H(X). Această limită în cazul unui canal fără memorie este egală cu informațiile reciproce:

R=I(X Y)=H(X) -H(X|Y)=H(Y)-H(Y|X) .

Rata de transfer de informații R pe deplin determinată

probabilități . Prin urmare, modificați valoarea R putem doar prin schimbarea tipului de distribuţie , deoarece aceasta este o caracteristică a unui canal necontrolat. Să determinăm capacitatea canalului CU ca viteza maximă de transfer de informații:

.

Dacă nu există interferențe

.

Calcularea capacității canalelor simetrice

Există o clasă de canale pentru care lățimea de bandă CU usor de calculat. Canalul este complet descris de așa-numita matrice stocastică

în care suma tuturor elementelor care formează șirul este egală cu unu.

Un canal se numește intrare simetrică dacă rândurile matricei diferă numai în ordinea de aranjare a unui anumit set de numere

Pentru canalele simetrice de intrare, entropia condiționată parțială

Nu depinde de numărul scrisorii transmise și poate fi calculată din orice rând al matricei. Prin urmare, entropia condiționată

Un canal se numește ieșire simetrică dacă coloanele matricei diferă doar în ordinea de aranjare a unui anumit set de numere.

Dacă distribuția sursei este uniformă

atunci distribuția la ieșire a unui canal simetric la ieșire va fi de asemenea uniformă. În același timp, entropia H(X)Și H(Y) atinge valoarea lor maximă. Acest lucru este ușor de verificat dacă dovediți că probabilitatea nu depinde de la j . Să reprezentăm probabilitatea în formă

Deoarece

Suma nu depinde de numărul coloanei j și în general

caz nu este egal cu unitatea. Prin urmare, probabilitatea este de asemenea

nu depinde de j si este egal cu . în care

Un canal se numește simetric dacă este simetric la intrare și la ieșire. Pentru canal simetric H(Y| X) nu depinde de distribuția sursei mesajului, deci de debitul

Ca exemplu, să calculăm capacitatea unui canal simetric, care este descrisă de matrice

Unde m= m X = m Y . În acest caz

C 1

0,2

0 0,2 0,4 0,6 0,8 1 P e

Orez. 3. Dependența lățimii de bandă

Capacitatea DSC privind probabilitatea de eroare p e

Probabilitate 1- p e egal cu probabilitatea receptie corecta simbol. Probabilitatea de eroare p e egală cu probabilitatea de recepţie y j c cu condiția ca acesta să fi fost transmis X i . Apoi

Canalul binar simetric (DSC) a devenit larg răspândit ( m=2), pentru care debitul (Fig. 3)

Rata maximă de transfer de informații, egală cu unitatea, se obține atunci când R e =0 iar la R e=1. În acest caz, seturile XȘi Y sunt în corespondență unu-la-unu și conform celor acceptate la j (j=1, 2) poate fi întotdeauna determinată cu probabilitate egală cu unu, litera transmisă. Din păcate, acest lucru este posibil numai atunci când valoarea probabilității este cunoscută a priori (înainte de recepție) R e(zero sau unu).

Lățimea de bandă canal discret fără interferențe

Să definim capacitatea canalului ca suma maxima informații care pot fi transmise prin el pe unitatea de timp:

C = max(Ixy)/tx(bit/s) (4.1)

Pentru un canal fără interferență, următoarea condiție este adevărată: eu xy = Hx, și, prin urmare, debitul său:

C bp = max(Hx)/ tx = log 2 m / tx (4.2)

În cazul special al transmiterii de biți binari (m = 2), este adevărat

Cu bp = 1/tx (4.3).

Este important pentru noi modul în care valoarea este legată Cu bp cu fluxul informaţional sursă H`z , care este determinat de formula

H`z = Hz/tz (bit/s) (4.4).

Capacitatea canalului este utilizată pe deplin atunci când H`z = C. Între timp, scăderea entropiei Hz poate duce la o reducere a fluxului de informații. Pentru a o crește, trebuie să reduceți timpul tz . Având în vedere că

tz = tx * lavg, Unde lsr - lungime medie cod de caractere, atunci devine clar: pentru a utiliza mai deplin capacitatea canalului pentru orice sursă, este necesar să se codifice rațional mesajele, reducând cât mai mult posibil lsr .

Dacă notăm starea utilizare deplină capacitatea canalului H`z = C în formă extinsă, atunci pentru un canal fără interferență va arăta astfel:

Hz/tz = log 2 m/tx (4.5),

si tinand cont tz = tx * lsr Și log 2 m = 1 (cu m=2) obținem condiția:

lav = Hz (4.6)

În esență, demonstrarea acestei așa-numite teoreme de codare Shannon pentru un canal fără interferențe se rezumă la găsirea unei proceduri care vă permite să obțineți codul necesar. Această procedură, numită codificare eficientă, a fost propusă de însuși Shannon și a fost ulterior îmbunătățită (în ceea ce privește comoditatea aplicație practică) Huffman.

În ambele cazuri despre care vorbim despre codarea caracter cu caracter și valoarea Hz are valoarea entropiei necondiționate. În principiu, putem merge mai departe și luăm în considerare codificarea șirurilor de caractere. În acest caz, Hz va avea semnificația entropiei condiționate de ordinul l, unde l este lungime maxima lanţuri. Vom vorbi mai târziu despre codificarea înlănțuită, dar deocamdată ne vom uita la abordarea clasică a codificării eficiente la nivel de caractere.

Să luăm acum în considerare opțiunea când interferența în canal provoacă erori cu probabilitate p 0 . În acest caz, din relația 3.1 rezultă:

C = max (Hx - Hx/y)/ tx = (log 2 m - Hx/y) / tx (4.8)

Să luăm în considerare cel mai frecvent caz al așa-numitului canal simetric binar. În acest caz, m = 2 (log 2 m = 1) și probabilitățile de eroare „tranziție „1” la „0”” „tranziție „0” la „1” ” sunt aceleași.

Dacă considerăm acum transmiterea unui bit de cod cu o eroare (probabilitatea p 0) ca un eveniment aleatoriu, atunci, folosind formula (2.8) pentru a determina entropia, obținem:

Hx/y = Hy/x = -p 0 log 2 p 0 - (1 - p 0) log 2 (1 - p 0) (4.9)

Ținând cont de acest lucru, (4.8) se transformă în forma:

C = /tx (4.10)

Astfel, capacitatea unui canal binar simetric cu zgomot este determinată doar de rata de transmisie a biților de cod. (Vx = 1/tx) și probabilitatea erorilor.

Dependența C(p 0) este ilustrată clar în Figura 2.

Figura 2

Așa cum se vede, valoare maximă capacitatea canalului se realizează când p 0 = 0 „canal fără interferență” și când p 0 = 1 (evident, dacă canalul transmite toate simbolurile cu erori, atunci acestea din urmă sunt ușor eliminate prin inversare). Valoarea minima C = 0 apare la p 0 = 0,5.

Shannon a arătat că prin codificare, capacitatea unui canal cu interferență poate fi, de asemenea, utilizată cât mai deplin posibil (reamintim că ea însuși va fi mai mică decât cea a unui canal fără interferență).

Metoda de codare care permite realizarea acestui lucru se bazează pe utilizarea codurilor redundante, când fiecare bloc de informații este protejat de biți de verificare și cu cât blocul este mai lung, cu atât este mai mică proporția acestor biți redundanți care permit detectarea și corectarea erorilor. . Vom lua în considerare problemele legate de utilizarea codurilor de corecție în Secțiunea 5.

Debitul sistemelor de transmitere a informațiilor

Una dintre principalele caracteristici ale oricărui sistem de transmitere a informațiilor, pe lângă cele enumerate mai sus, este debitul acestuia.

Lățime de bandă – cantitatea maximă posibilă de informații utile transmise pe unitatea de timp:

c = max(Imax) / TC,

c = [bit/s].

Uneori, rata de transmitere a informațiilor este definită ca cantitatea maximă de informații utile într-un semnal elementar:

s = max(Imax) / n,

s = [bit/element].

Caracteristicile considerate depind doar de canalul de comunicare și de caracteristicile acestuia și nu depind de sursă.

Debitul unui canal de comunicație discret fără interferențe. Într-un canal de comunicație fără interferențe, informațiile pot fi transmise folosind un semnal neredundant. În acest caz, numărul n = m, iar entropia semnalului elementar HCmax = logK.

max(IC) = nHCmax= mHCmax .

Durata unui semnal elementar, unde este durata unui semnal elementar.

unde FC este spectrul semnalului.

Capacitatea canalului de comunicație fără interferențe

Să introducem conceptul de viteză de generare a unui semnal elementar de către o sursă de informație:

Apoi, folosind noul concept, putem transforma formula pentru viteza de transmitere a informațiilor:

Formula rezultată determină viteza maximă posibilă de transmitere a informațiilor într-un canal de comunicație discret fără interferențe. Aceasta rezultă din ipoteza că entropia semnalului este maximă.

Dacă H.C.< HCmax, то c = BHC и не является максимально возможной для данного канала связи.

Capacitatea unui canal de comunicație discret cu interferențe. Într-un canal de comunicație discret cu zgomot, situația prezentată în Fig. 6.

Ținând cont de proprietatea aditivității, precum și de formulele lui Shannon pentru determinarea cantității de informații discutate mai sus, putem scrie

IC = TC FC log (AK PC),

IPOM = jurnal TP FP (APP).

Pentru destinatar, sursa de informații utile și sursa de interferență sunt echivalente, prin urmare, pe partea de recepție este imposibil să izolați componenta de interferență din semnal cu informațiile rezultate.

IRES = TC FC log(AK (PP + PC)), dacă TC = TP, FC = FP.

Receptorul poate fi de bandă îngustă, iar interferența poate fi în alte game de frecvență. În acest caz, nu va afecta semnalul.

Vom determina semnalul rezultat pentru cel mai „neplăcut” caz, când parametrii de semnal și de zgomot sunt apropiați unul de celălalt sau coincid. Informații utile este determinată de expresie

Această formulă a fost obținută de Shannon. Determină viteza de transmitere a informațiilor pe un canal de comunicație dacă semnalul are putere PC și interferența are putere PP. Toate mesajele cu această viteză vor fi transmise cu o fiabilitate absolută. Formula nu răspunde la întrebarea cum să se obțină o astfel de viteză, dar dă valoarea maximă posibilă a lui c într-un canal de comunicație cu interferență, adică valoarea vitezei de transmisie la care informațiile primite vor fi absolut de încredere. În practică, este mai economic să se permită o anumită eroare în mesaj, deși viteza de transmisie va crește.

Luați în considerare cazul PC >> PP. Dacă introducem conceptul de raport semnal-zgomot

PC >> PP înseamnă că . Apoi

Formula rezultată reflectă viteza maximă a unui semnal puternic în canalul de comunicare. Dacă PC<< PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.

Fig.7 Graficul probabilităților de tranziție a unui canal de comunicare K-ary

Există o anumită corespondență unu-la-unu între. Dacă nu există interferență, atunci probabilitatea unei potriviri unu-la-unu este egală cu unu, în caz contrar, este mai mică de unu.

Dacă qi este probabilitatea de a confunda yi cu xi, iar pij = p(yi / xi) este probabilitatea de eroare, atunci

.

Graficul probabilității de tranziție reflectă rezultatul final al influenței interferenței asupra semnalului. De regulă, se obține experimental.

Informațiile utile pot fi estimate ca IPOL = nH(X · Y), unde n este numărul de simboluri elementare din semnal; H(X Y) – entropia reciprocă a sursei X și a sursei Y.

În acest caz, sursa X este sursa de informații utile, iar sursa Y este receptorul. Relația care determină informații utile poate fi obținută pe baza semnificației entropiei reciproce: secțiunea umbrită a diagramei determină mesajele transmise de sursa X și primite de receptorul Y; Zonele neumbrite reprezintă semnale de la sursa X care nu au ajuns la receptor și semnale străine primite de receptor care nu au fost transmise de sursă.

B este rata de generare a simbolurilor elementare la ieșirea sursă.

Pentru a obține max, trebuie să creșteți H(Y) și să micșorați H(Y/X) dacă este posibil. Grafic, această situație poate fi reprezentată prin combinarea cercurilor pe diagramă (Fig. 2d).

Dacă cercurile nu se intersectează deloc, X și Y există independent unul de celălalt. În cele ce urmează vom arăta cum poate fi utilizată expresia generală pentru rata maximă de transmisie atunci când se analizează anumite canale de comunicare.

La caracterizarea unui canal discret se folosesc două concepte de viteză: tehnic și informațional.

Rata de transmisie tehnică RT, numită și rata de codificare, se referă la numărul de simboluri (semnale elementare) transmise pe un canal pe unitatea de timp. Depinde de proprietățile liniei de comunicație și de viteza echipamentului de canal.

Luând în considerare diferențele de durată a simbolurilor, viteza tehnică este determinată ca

unde este durata medie a simbolului.

Unitatea de măsură este „baud” - aceasta este viteza cu care este transmis un caracter pe secundă.

Viteza informației sau rata de transmitere a informațiilor este determinată de cantitatea medie de informații care este transmisă pe un canal pe unitatea de timp. Depinde atât de caracteristicile unui anumit canal (cum ar fi volumul alfabetului de simboluri utilizate, viteza tehnică de transmitere a acestora, proprietatea statistică a interferenței în linie), cât și de probabilitățile ca simbolurile să ajungă la intrare și relația lor statistică.

Cu o viteză de manipulare cunoscută, viteza de transmitere a informațiilor pe canal este dată de relația:

,

unde este cantitatea medie de informații purtate de un simbol.

Pentru practică, este important să aflăm în ce măsură și în ce mod poate fi mărită viteza de transmitere a informațiilor pe un anumit canal. Capacitățile maxime ale unui canal de transmitere a informațiilor sunt caracterizate prin debitul acestuia.

Capacitatea canalului cu probabilități de tranziție date este egală cu informațiile transmise maxime pe toate distribuțiile de simbol de intrare ale sursei X:

Din punct de vedere matematic, căutarea capacității unui canal discret fără memorie se reduce la căutarea distribuției de probabilitate a simbolurilor de intrare ale sursei X, ceea ce asigură un maxim de informații transmise. În același timp, se impune o restricție asupra probabilităților simbolurilor de intrare: , .

În general, determinarea maximului sub anumite restricții este posibilă folosind metoda multiplicativă a lui Lagrange. Cu toate acestea, o astfel de soluție este prohibitiv de costisitoare.

În cazul particular al canalelor simetrice discrete fără memorie, debitul (maximum) este realizat cu o distribuție uniformă a simbolurilor de intrare ale sursei X.

Apoi, pentru un DSC fără memorie, considerând probabilitatea de eroare ε ca dată și pentru simboluri de intrare la fel de probabile = = = =1/2, putem obține capacitatea unui astfel de canal folosind expresia binecunoscută pentru:

unde = este entropia unui canal binar simetric pentru o probabilitate de eroare dată ε.

Cazurile limită prezintă interes:

1. Transmiterea informațiilor pe un canal silențios (fără interferențe):

, [bit/caracter].

Cu caracteristicile tehnice de bază fixe ale canalului (de exemplu, banda de frecvență, puterea medie și de vârf a transmițătorului), care determină valoarea vitezei tehnice, debitul canalului fără interferență va fi egal cu [bit/sec].

Relațiile (7.1)–(7.3), care determină viteza de transmisie și capacitatea canalului și liniei de comunicație, sunt generale și, prin urmare, sunt aplicabile atât pentru canalele discrete, cât și pentru cele continue, atât pentru canalele fără zgomot, cât și pentru canalele cu zgomot. Diferența constă în modul în care este calculată cantitatea de informații conținute într-o secvență de semnale de ieșire Z T, despre semnalele de intrare YT acestea. eu(Z T, Y T).

A calcula eu(Z T, Y T) puteți folosi relații (5.30) sau (5.31). Din aceste relaţii obţinem

I(Z T ,Y T) = H(Z T) – H(Z T‌ | Y T) = H(Y T) – H(Y T| Z T).(8.9)

Vom presupune că zgomotul care acționează în canalul de comunicare este de natură ergodică. Aceasta înseamnă că, de exemplu, în timpul transmisiei de semnal repetate pe termen lung y eu semnale z la ieșirea canalului cu o probabilitate cât mai apropiată de unitate, ele formează o secvență tipică. Același lucru este valabil și atunci când se transmite o secvență ergodică de diferite semnale u.În această condiție, ieșirea canalului de comunicație poate fi considerată o sursă ergodică.

Pentru o succesiune de lungime T, conținând M semnale de la o astfel de sursă, avem

H(Z T) = MH(Z),(8.10)

Unde H(Z) – entropia semnalului de ieșire sau, mai precis, entropia de ieșire a canalului de comunicație, considerată sursă ergodică.

Magnitudinea H(Z) poate fi calculat folosind o formulă similară cu (6.10),

H(Z) = (8.11)

în care QlȘi Q k sunt indicate stările caracteristice ale ieşirii canalului de comunicaţie.

Obținem aceeași relație pentru calcularea entropiei condiționate

H(Z T|Y T) = MH(Z| Y),(8.12)

Unde H(Z|Y) - entropia semnalului de ieșire al unui canal de comunicație cu semnale de intrare cunoscute.

Repetând raționamentul dat la derivarea (6.10), obținem

H(Z|Y) = (8.13)

în care p(Q l | Q k , y j) – probabilitatea condiționată de tranziție a ieșirii canalului de comunicație din stare Q k intr-o stare Ql la transmiterea unui semnal y j .

Din (8.9), (8.10) și (8.12) rezultă că

I(Z T , Y T) = MH(Z) – MH(Z | Y).

La determinarea vitezei de transmitere a informațiilor conform (7.3 ’), avem în vedere că; în acest caz, ca și înainte, este durata medie a semnalului unui mesaj. Apoi primim

Repetând raționamentul, găsim în mod similar

În ultima egalitate, fluxul de informații la ieșirea dispozitivului de codificare caracterizează pierderea de informații cauzată de interferență.

Din relațiile găsite și (7.3) rezultă că debitul canalului de comunicație în prezența interferenței poate fi determinat din condiția

Ambele definiții sunt echivalente și dau același sens Cu s. Utilizarea unei definiții sau alteia este dictată de comoditatea analizei. La căutarea caracteristicilor statistice optime ale semnalelor transmise ( la) trebuie avute în vedere următoarele:

Stări caracteristice ale ieșirii canalului de comunicație ( Q k , Q l) poate fi determinată de două circumstanțe:

a) prezența unor restricții fixe, i.e. interdicții impuse secvenței permise de transmitere a diferitelor semnale și

b) legături corelative între simboluri cauzate de acţiunea zgomotului.

Canalele în care fiecare semnal transmis (simbol) este afectat de zgomot, indiferent de semnalele transmise anterior, se numesc canale fără memorie. În aceste canale, zgomotul nu provoacă conexiuni corelative suplimentare între semnale. În prezent, principalele concluzii ale teoriei informației au fost obținute în raport cu canalele fără memorie.

Să ilustrăm calculul capacității canalului cu următorul exemplu.

Să fie necesar să se determine capacitatea unui canal de comunicație prin care semnalele binare sunt transmise cu o viteză v x, dacă probabilitatea ca fiecare dintre aceste semnale să se transforme în opus ca urmare a interferenței este egală cu R(probabilitatea recepției corecte este deci 1 – R). Se presupune că semnalele transmise sunt independente.

Orez. 8.3. Canal binar echilibrat

În acest caz alfabetul Xși alfabet Y consta din doua personaje: X= (X 1 ,X 2), Y=(la 1 , y 2). Diagrama fig. 8.3 prezintă posibilele opțiuni de transmisie și probabilitățile corespunzătoare acestora. Acest canal este numit simetric.

Entropia condițională medie

Dar p(X 1)+p(X 2)=1.

H(Yô X)=-p Buturuga p– (1 – p)log (1 – p).

Din aceasta este clar că H(Yô X) nu depinde de caracteristicile sursei, i.e. din R(X 1) și R(X 2), și va fi determinată numai de interferența în canalul de transmisie.

Cantitatea maximă de informații per simbol se obține, așadar, cu o astfel de distribuție de probabilitate R(x i), la care termenul se dovedește a fi maxim H(Y). Dar H(Y) nu poate depăși valoarea

H m(Y)= jurnal m=log 2

(care se realizează cu R(X 1)=R(X 2)=1/2.Deci avem:

max( eu(Y,X) = log 2 + p Buturuga p+(1 – p)log (1 – p)

și deci debitul

C=vx max ( eu(Y,X)} =

= v x. (8.19)

Rezultă, în special, că atunci când p = 0, adică in absenta zgomotului in canal avem valoarea maxima CU

CU max = v x log2.

La R=1 avem și un caz determinist când semnalele X 1 sunt traduse în semnale X 2 și invers cu probabilitatea egală cu unu. În același timp, capacitatea canalului este și ea maximă.

Valoarea minimă a debitului este la p=1/2(C max = 0).

Dacă intrarea canalului primește semnale de la toate sursele posibile de mesaje discrete cu același număr de simboluri pe unitatea de timp u = 1/Tși numărul de simboluri elementare T, apoi expresia pentru CUși, în consecință, pentru capacitatea canalului pe unitatea de timp arată astfel:

Prin urmare, la t = 2 avem (8.19).