Entropija (informacijos teorija)

Šiam straipsniui ar jo daliai trūksta išnašų į šaltinius. Jūs galite padėti Vikipedijai pridėdami tinkamas išnašas su šaltiniais.

Entropija yra informacijos teorijoje naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Formulė

$H=-\sum _{i=1}^{n}p_{i}\log _{a}p_{i}\,\!$