A partir del concepto de regresión logística podemos ya definir el siguiente algoritmo.

El modelo para la regresión logística

El libro traza un paralelo con el modelo ADALINE, donde la función indentidad () es sustituida por la función logística (sigmoidea) en nuestro modelo:

El algoritmo de ADALINE con la función identidad sustituida por la función logística o sigmoidea
El algoritmo de ADALINE con la función identidad sustituida por la función logística o sigmoidea

Cálculo de los pesos

Cuando hablamos de ADALINE definimos la función de costos de la suma de los errores cuadrados para minimizarla:

Para obtener una función de costos que minimizar, el autor empieza definiendo la siguiente función:

donde es la clase ( o ) de la muestra , y es la probabilidad de que la muestra pertenezca a la clase . Como vimos en la entrada anterior, la clase predicha será si la probabilidad de es mayor o igual a .

Por tanto, la expresión

indica la probabilidad de que la muestra pertenezca a la clase real (), ya que si , la expresión se simplifica a , y si nos queda

que es la probabilidad de que la muestra sea de clase distinta de , es decir, la probabilidad de que se de clase .

Entonces, la función es el producto de las probabilidades de que cada muestra sea de su clase real, en función de los pesos establecidos. Si maximizamos esa función, estaremos maximizando la calidad de la predicción para el conjunto de muestras.

Simplificando los cálculos

El siguiente paso que da el libro es calcular el logaritmo de . El propósito de esta función es doble. Por un lado, evita un problema potencial si las probabilidades son lo suficientemente pequeñas para que su producto provoque un desbordamiento. El logaritmo convierte los productos en sumas, con lo que el riesgo desaparece. Por otro lado, el cálculo de la derivada se simplifica mucho por el mismo motivo.

Dado que , el logaritmo del productorio se convierte en un sumatorio de logaritmos:

Ahora el sumatorio contiene también el logaritmo de un producto, por lo que podemos convertirlo en:

Finalmente podemos simplificar usar la propiedad para convertir la expresión en:

En la siguiente entrada veremos cómo convertir esta expresión en una función de costos.