Entropi Rate Dari Suatu Sumber

Entropy rate dari suatu sumber adalah suatu bilangan yang bergantung hanya pada statistik alami sumber. Jika sumber mempunyai suatu model sederhana, maka nilai tersebut dapat dengan mudah dikalkulasi. Berikut ini, contoh dari sumber yang berubah-ubah:

Dimana X merupakan teks dalam bahasa Inggris. Maka model statistik sumber di atas adalah sebagai berikut:

A.        Zero-Order Model. Karakter-karakter secara statistik bersifat bebas untuk setiap alphabet  A dan secara bersamaan muncul. Misalkan m merupakan ukuran dari alphabet. Dalam kasus ini, entropy rate dapat dinyatakan dengan persamaan:

                                                                  ................................................... (2.3)

Untuk teks dalam bahasa Inggris, ukuran alphabet m = 27. Jadi, jika ini merupakan model akurat untuk teks dalam bahasa Inggris, maka entropy rate akan bernilai H = log₂ 27 = 4,75 bits/character.

B.         First-Order Model. Karakter-karakter secara statistik bersifat bebas. Misalkan m adalah ukuran dari alphabet dan misalkan P_i merupakan probabilitas dari huruf ke-i dalam alphabet. Entropy ratenya adalah:

                                                                  ................................................... (2.4)

Dengan menggunakan first-order distribution, entropy rate dari teks Inggris sebesar 4,07 bits/character.

C.        Second-Order Model. Misalkan P_j½i adalah probabilitas yang berkondisi untuk karakter yang berlaku saat ini dan merupakan huruf ke-j dalam alphabet yang merupakan karakter sebelumnya yaitu huruf ke-i. maka entropy ratenya adalah:

                                                                                  .................................... (2.5)

Dengan menggunakan second-order distribution, entropy rate dengan model di atas adalah 3,36 bits/character.

D.        Third-Order Model. Misalkan P_k½j,i  adalah probabilitas berkondisi yang berlaku untuk karakter saat ini dan merupakan karakter ke-k dalam alphabet yang didapat dari karakter sebelumnya yaitu huruf ke-j dan satu karakter sebelum huruf ke-i. Entropy rate untuk model tersebut adalah:

                                                                                                    ................. (2.6)

Dengan menggunakan third-order distribution, entropy rate dari teks Inggris dengan model di atas adalah 2,77 bits/character.

E.         General Model. Misalkan B_n merepresentasikan karakter n pertama. Entropy rate dalam kasus yang umum dinyatakan dengan persamaan berikut ini:

                                                                                            ......................... (2.7)

Dimana seluruh jumlah dari semua mⁿ merupakan kemungkinan nilai dari B_n. Adalah tidak mungkin untuk menghitung entropy rate menurut persamaan di atas. Dengan menghitung metoda prediksi, Shannon mampu memperkirakan entropy rate dari ke-27 teks Inggris adalah 2,3 bits/character.

            Hanya terdapat satu entropy rate untuk suatu sumber yang diberikan. Semua definisi di atas untuk entropy rate saling bersesuaian satu sama lainnya.

 Next Pages...