Entropija (informacijos teorija)

Entropija yra informacijos teorijoje naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Informacinės entropijos sąvoką 1948 m. pristatė Klodas Šenonas savo darbe „Matematinė komunikacijos teorija“ (A Mathematical Theory of Communication),^[1]^[2] kuri dar vadinama Šenono entropija.

Formulė[redaguoti | redaguoti vikitekstą]

H=-\sum _{i=1}^{n}p_{i}\log _{a}p_{i}\,\!

Šaltiniai[redaguoti | redaguoti vikitekstą]

↑ Shannon, Claude E. (July 1948). „A Mathematical Theory of Communication“. Bell System Technical Journa]. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429. (PDF, archived from here)
↑ Shannon, Claude E. (October 1948). „A Mathematical Theory of Communication“. Bell System Technical Journal. 27 (4): 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. hdl:11858/00-001M-0000-002C-4317-B. (PDF, archived from here)

[shannonPaper1-1] Shannon, Claude E. (July 1948). „A Mathematical Theory of Communication“. Bell System Technical Journa]. 27 (3): 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429. (PDF, archived from here)

[shannonPaper2-2] Shannon, Claude E. (October 1948). „A Mathematical Theory of Communication“. Bell System Technical Journal. 27 (4): 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. hdl:11858/00-001M-0000-002C-4317-B. (PDF, archived from here)

[1]

[2]