tətbiqi riyaziyyatda, elektronikada və kompyuter elmlərində istifadə olunan, claude shannon tərəfindən informasiyanın sıxılması, ötürülməsi, saxlanılmasını təmin etmək üçün inkişaf etdirilmiş nəzəriyyə.
bir az açıqlamağa çalışım: fizikadakı entropiya anlayışından fərqli olaraq burda entropiya bir məlumat sətrinin təxmin edilməsi(ehtimal) üçün lazım olan ortalama rəqəmə verilən addır. ehtimal nəzəriyyəsinin məşhur torba və şar məsələsi ilə açıqlamaq olar bunu. tutuq ki, bir torbada n fərqli rəngdə şar var, bu torbada n çoxluğuna daxil olan bir rəngli şarı çəkmə ehtimalı 1/n-dir. eyni zamanda bu bizim bir çəkişdə torbadan ala biləcəyimiz informasiya miqdarıdır, çünki hansı rəngin çıxacağını bilmirdik. əgər torbadakı bütün şarlar eyni rəngdə olsaydı, biz hansı rəngdə şarı çəkəcəyimizi bildiyimiz üçün çəkiliş sonrası bizim əldə etdiyimiz informasiya 1 olacaqdı, çünki hansı rəngdə şarı çəkəcəyimizi bilirik. n böyüdükcə bizim əldə edə biləcəyimiz informasiyaların sayı da çoxalır və bu saya entropiya deyilir və belə hesablanır(h-entopiya):
h(x)=-(x∈x)∑p(x)log(p(x))
əslində bu entropiya anlayışı fizikadakından heç də fərqli deyil, fizikadakı entopiya anlayışı sistemdəki nizamsızlığı və zamanın axınını müəyyən edir(qısaca yazdım), burdakı entropiya da eyni şeyləri bir informasiya sistemi üçün təyin edir, yəni bir proqram həmişə entropiyasını 1-ə çatdırıb sonlanmağı hədəfləyir, ehtimallar azalaraq sonda nəticə qalır və bu da sistemin zamanının miqdarını və istiqamətini müəyyən edir.
informasiya nəzəriyyəsi hazırda itkisiz məlumat sıxışdırma(məs: zip), itkili məlumat sıxışdırmada(məs: mp3, jpeg, 3gp), kommunikasiyada (məs: dsl, adsl) və s. tətbiq edilir. [1]