En general, se usan probabilidades de modo informal para expresar la información o la incertidumbre
que se tiene acerca de observaciones de cantidades desconocidas. Sin embargo, el uso de probabilidades para expresar la información se puede hacer de modo formal. Desde el punto de vista matemático se puede demostrar que con el Cálculo de Probabilidades se puede representar de modo numérico el conjunto racional de creencias, de modo que existe una relación entre probabilidad y e información y la regla de Bayes proporciona un modo natural de actualización de las creencias cuando aparece nueva información. Este proceso de aprendizaje inductivo por medio de la regla de Bayes es la base de la Inferencia Bayesiana.
Definiciones y Teoremas Básicos:
Una aplicación de esto son los clasificadores Bayesianos que son frecuentemente usados en implementaciones de filtros de correo basura o spam, que se adaptan con el uso.
