Entropija (informacijos teorija)

Straipsnis iš Vikipedijos, laisvosios enciklopedijos.
Peršokti į: navigaciją, paiešką

Entropija yra informacijos teorijoje naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Formulė[taisyti | redaguoti kodą]

H = -\sum_{i=1}^np_i\log_a p_i\,\!