Quantificação de informação na teoria de Bayes em escalas temporais

Resumo

Medida de “surpresa”- A teoria da informação permeia todos os campos da ciência. Um dos primeiros problemas que a teoria pressupõe é como quantificar a informação de um conjunto de dados. Shannon em 1948 quantificou a informação de um conjunto de dados C, dentro de uma mensagem M, como sendo log2 PM(C) .
Na década de 2000 Baldi e Itti [2], diante dos conceitos envolvidos na teoria de Bayes propuseram outra definição para a quantidade de informação que renomearam como uma medida de “surpresa” (do observador). De acordo com o subjacente psicológico na teoria em Bayes este efeito é o que provoca a transformação das crenças à priori para as crenças à posteriori. Neste sentido vemos, então, que esta quantidade de informação pode ser medida pela distância -entropia relativa - entre as distribuições à priori e à posteriori do observador sobre os espaços de hipóteses disponíveis [...]