Diferenciación automática

Automatic differentiation

También: Autograd, Automatic differentiation, Autodiff

Técnica que calcula derivadas de un programa registrando y combinando las operaciones que produjo su resultado.

Definición técnica

Evaluación algorítmica de derivadas mediante la regla de la cadena sobre un grafo de operaciones; el modo inverso calcula eficientemente gradientes de una salida escalar respecto de muchos parámetros.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Explicación empresarial

Infraestructura matemática de los frameworks que permite entrenar modelos complejos sin derivar manualmente cada operación.

Para qué sirve

Obtener gradientes exactos hasta el error numérico de las operaciones, de forma componible y eficiente.

Cómo funciona

Construye o traza dependencias entre tensores y aplica derivadas locales encadenadas durante el recorrido hacia atrás.

Ejemplos

Ejemplo práctico

Autograd registra operaciones del paso forward y recorre el grafo en sentido inverso para llenar el gradiente de cada peso.

Ejemplo empresarial

Un equipo puede cambiar la arquitectura de un modelo y conservar el cálculo automático de gradientes mientras use operaciones compatibles.

Confusiones frecuentes

No es diferenciación simbólica ni aproximación por diferencias finitas; tampoco es sinónimo de retropropagación, aunque esta suele apoyarse en modo inverso.

Limitaciones

Requiere que las operaciones tengan reglas de derivación y puede consumir mucha memoria al conservar estados intermedios.

Riesgos

Gradientes computables pueden seguir siendo inestables, incorrectos por una función mal planteada o inútiles para operaciones no diferenciables.

Idea principal

La diferenciación automática compone derivadas de operaciones para calcular gradientes sin escribirlos a mano.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Redes neuronales
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Gradiente Parámetro de un modelo Retropropagación

Fuentes

Automatic Differentiation with torch.autograd
PyTorch · Documentación oficial · Publicado el 10 de febrero de 2021
Explica el cálculo automático de gradientes sobre el grafo computacional y su uso en retropropagación.
Learning representations by back-propagating errors
Nature · Autor: David E. Rumelhart, Geoffrey E. Hinton and Ronald J. Williams · Publicación científica · Publicado el 9 de octubre de 1986
Trabajo original sobre ajuste repetido de pesos mediante retropropagación del error.