La Paradoja de la Universalidad

Introducción

Cualquier curso de aprendizaje automático comienza con el modelo lineal. Dada una entrada $x \in \mathbb{R}^n$ , predecimos:

f(x) = w^\top x + b

Es elegante, interpretable y matemáticamente tratable. Pero tiene un problema fundamental: solo puede representar relaciones lineales. Si la función que gobierna nuestros datos tiene curvas, saltos o interacciones complejas entre variables, el modelo lineal es estructuralmente incapaz de capturarla. No es cuestión de tener más datos ni de entrenar más tiempo; la clase de funciones que puede representar es demasiado pequeña.

Este es el punto de partida para entender por qué las redes neuronales supusieron un cambio cualitativo. No se trata simplemente de “un modelo más potente”, sino de un modelo cuya clase de funciones representables es radicalmente más amplia.

1. Modelos lineales y no lineales: la cuestión de la clase de funciones

Para entender el Teorema de Aproximación Universal conviene pensar en términos de clases de funciones. Todo modelo de aprendizaje supervisado define implícitamente un conjunto de funciones candidatas — lo que en teoría del aprendizaje se denomina el espacio de hipótesis del modelo.

Un modelo lineal en $\mathbb{R}^n$ define la clase:

\mathcal{H}_{\text{lineal}} = \left\{ f : \mathbb{R}^n \to \mathbb{R} \;\middle|\; f(x) = w^\top x + b,\; w \in \mathbb{R}^n,\; b \in \mathbb{R} \right\}

Esta clase es un subespacio de dimensión finita ( $n+1$ parámetros). No importa cuántos datos tengamos: si la función objetivo no es lineal, el error de aproximación tiene un suelo irreducible. A este error se le llama sesgo inductivo del modelo, y aparece formalmente en la descomposición sesgo-varianza del error de generalización.

Los modelos no lineales clásicos (regresión polinómica, métodos kernel, splines) amplían esta clase, pero cada uno lo hace de manera específica y acotada. Un polinomio de grado $k$ :

f(x) = \sum_{i=0}^{k} a_i x^i

puede capturar curvatura, pero la clase sigue siendo finita y la elección de $k$ es una decisión de diseño que condiciona todo lo que el modelo puede o no puede aprender.

La pregunta natural es: ¿existe un modelo cuya clase de funciones sea lo suficientemente rica como para aproximar cualquier función continua con la precisión que queramos?

Es la pregunta que motivó los resultados de Cybenko y Hornik a finales de los ochenta.

2. Qué dice realmente el teorema

Conviene empezar deshaciendo una confusión habitual en la divulgación, donde “el teorema de aproximación universal” se trata como un único resultado con un único autor. En realidad es una familia de resultados que se fueron generalizando entre sí, y la historia de cómo lo hicieron dice más sobre el teorema que el enunciado pulido que suele citarse.

El primero, de Hornik, Stinchcombe y White (1989), establece que las redes feedforward con una sola capa oculta y funciones de activación de tipo squashing —acotadas, monótonas y con límites distintos en $\pm\infty$ , como la sigmoide— pueden aproximar cualquier función Borel-medible con la precisión que se desee, siempre que haya suficientes neuronas. Casi a la vez y de forma independiente, Cybenko (1989) llegó al mismo resultado para activaciones sigmoidales continuas sobre el hipercubo unitario.

El salto conceptual lo dio Hornik en solitario (1991): la universalidad no depende de que la activación sea sigmoidal, sino solo de que sea acotada y no constante. Esto es lo que importa, porque desliga la propiedad de cualquier elección concreta de no linealidad. El enunciado moderno recoge esa idea:

Teorema (Aproximación Universal). Sea $\sigma : \mathbb{R} \to \mathbb{R}$ una función acotada y no constante. Entonces, para cualquier función continua $f : K \to \mathbb{R}$ definida sobre un conjunto compacto $K \subset \mathbb{R}^n$ , y para cualquier $\varepsilon > 0$ , existen un entero $N$ , vectores de pesos $w_i \in \mathbb{R}^n$ , sesgos $b_i \in \mathbb{R}$ y coeficientes $\alpha_i \in \mathbb{R}$ tales que la función:
$F(x) = \sum_{i=1}^{N} \alpha_i \, \sigma(w_i^\top x + b_i)$
satisface:
$\sup_{x \in K} |F(x) - f(x)| < \varepsilon$

En cristiano: una red con una sola capa oculta y suficientes neuronas puede aproximar cualquier función continua en un dominio compacto tan bien como queramos.

A partir de ahí, cada generalización aflojó una hipótesis más. Leshno, Lin, Pinkus y Schocken (1993) demostraron que ni siquiera hace falta que $\sigma$ sea acotada: basta con que no sea un polinomio. Eso justificó, años antes de que la ReLU se volviera estándar, que una activación tan tosca como

\sigma(z) = \max(0, z)

conserva la universalidad pese a no ser acotada ni diferenciable en todo punto. Y Lu et al. (2017) dieron la vuelta al eje clásico: mostraron que también se puede ser universal con redes profundas y estrechas —anchura acotada por $n+4$ y profundidad arbitraria—, con una transición de fase por debajo de la cual ninguna profundidad sirve. Es el resultado que conecta el teorema con las arquitecturas profundas que de verdad usamos.

Todas estas versiones comparten la misma forma y, lo que es más importante para lo que viene, el mismo punto ciego. Aflojan las condiciones sobre la activación, sobre la arquitectura, sobre la clase de funciones objetivo. Ninguna toca la pregunta que de verdad importa cuando uno se sienta a entrenar una red.

3. La trampa: es un teorema de existencia

Esa pregunta es la que el teorema deja intacta. Y ahí está la paradoja: el resultado que parece prometerlo todo —cualquier función, con cualquier precisión— es, leído con cuidado, uno de los más modestos del aprendizaje automático.

El Teorema de Aproximación Universal es un teorema de existencia.

Garantiza que existe una red que aproxima la función deseada. No dice cómo es, cuán grande, ni cómo encontrarla. Cuatro silencios importan especialmente.

Cuántas neuronas hacen falta. El $N$ del teorema puede ser astronómico, y las demostraciones clásicas son no constructivas: prueban que $N$ existe, no cómo calcularlo. Para ciertas funciones crece de forma brutal con la dimensión de la entrada, lo que conecta con la maldición de la dimensionalidad. Hay una excepción que merece mención porque es de las pocas cotas constructivas del área: Barron (1993) demostró que, para funciones cuyo espectro de Fourier cumple ciertas condiciones de regularidad, el error con $N$ neuronas decrece como

O\!\left(\frac{1}{\sqrt{N}}\right)

de forma independiente de la dimensión. Es notable justamente por ser la excepción: solo vale para esa familia de funciones bien comportadas, y necesita información adicional sobre la función objetivo que el teorema universal, por sí solo, nunca da.

Qué arquitectura usar. El resultado clásico habla de una capa oculta; Lu et al. mostraron que una red profunda y estrecha logra lo mismo con muchas menos neuronas. La elección entre profundidad y anchura, el tipo de conexiones —convolucionales, recurrentes, atención—, la activación concreta: nada de esto sale del teorema. Garantiza que alguna arquitectura funciona, no cuál.

Cómo encontrar los parámetros. El teorema no dice una palabra sobre la optimización. Que la solución exista en el espacio de parámetros no implica que el descenso por gradiente la alcance. El paisaje de pérdida es no convexo —mínimos locales, puntos de silla, mesetas— y la existencia de una buena aproximación no garantiza que el entrenamiento converja hacia ella.

Cómo de bien generalizará. El teorema habla de aproximar una función conocida sobre un dominio compacto. En la práctica no conocemos la función: tenemos muestras finitas y ruidosas. Que una red pueda representar la función objetivo no implica que, entrenada con datos reales, la aprenda en vez de memorizar el ruido. Eso es generalización, un problema distinto del de representabilidad que el teorema resuelve.

Esta distinción entre existencia y construcción no es exclusiva de las redes neuronales; es una tensión vieja en matemáticas:

Resultado	Lo que garantiza	Lo que no garantiza
Teorema de Aproximación Universal	Existe una red que aproxima $f$ con error $< \varepsilon$	El tamaño, la arquitectura, ni cómo encontrarla
Teorema de Weierstrass (1885)	Existe un polinomio que aproxima $f$ uniformemente	El grado necesario ni el algoritmo de cálculo
Picard–Lindelöf	Existe solución única para una EDO con condiciones iniciales	La forma cerrada de la solución
Teorema de Bolzano	Existe una raíz de $f$ en $[a,b]$ si $f(a)\!\cdot\! f(b) < 0$	Dónde está exactamente esa raíz

Saber que algo existe y saber cómo construirlo son, en general, problemas distintos — a veces con dificultad radicalmente diferente. El Teorema de Aproximación Universal se inscribe en esta tradición: es un resultado de existencia pura.

4. Implicaciones para la práctica

Entender el teorema como un resultado de existencia tiene consecuencias directas sobre cómo abordamos los problemas de aprendizaje profundo.

La elección de arquitectura no es automática. Ningún teorema nos dice que para reconocer imágenes necesitamos una red convolucional, o que para procesar lenguaje necesitamos atención. Estos descubrimientos son empíricos. El teorema nos dice que alguna red funcionará; el trabajo de ingeniería e investigación consiste en encontrar cuál, y por qué unas arquitecturas codifican mejor que otras los sesgos inductivos adecuados para cada dominio.

El sobreajuste no contradice el teorema: lo confirma. Una red con capacidad de aproximación universal tiene, por definición, capacidad para memorizar cualquier conjunto de entrenamiento finito. Que pueda representar la función objetivo no implica que la represente — también puede representar el ruido. De ahí la necesidad de regularización, validación cruzada y todo el aparato metodológico del aprendizaje estadístico.

El teorema justifica el optimismo, pero no elimina la dificultad. Nos dice que el espacio de búsqueda contiene la solución. No nos dice dónde está, cuánto costará encontrarla, ni si nuestro presupuesto computacional y nuestros datos serán suficientes.

5. El teorema en contexto histórico

El Teorema de Aproximación Universal no surgió en el vacío. Se inscribe en una tradición matemática de resultados de aproximación que lo precede en más de un siglo:

Teorema de Weierstrass (1885): cualquier función continua en un intervalo cerrado puede aproximarse uniformemente mediante polinomios.
Teorema de Stone–Weierstrass (1937): generaliza el resultado anterior a álgebras de funciones sobre espacios compactos.
Teorema de Kolmogorov–Arnold (1957): cualquier función continua multivariable puede expresarse mediante composición y suma de funciones continuas de una sola variable.

La contribución específica de Cybenko, Hornik, Stinchcombe y White fue demostrar que las redes neuronales con una capa oculta pertenecen a esta familia de aproximadores universales, conectando una arquitectura computacional concreta con la tradición matemática de la teoría de aproximación. Esto no solo legitimó teóricamente a las redes neuronales: explicó por qué funcionan. No por nada que tenga que ver con el algoritmo de entrenamiento, sino por su estructura: componer transformaciones afines con no linealidades basta para generar una clase de funciones representables lo bastante rica.

Conclusión

El Teorema de Aproximación Universal es uno de los resultados más elegantes — y más malinterpretados — del aprendizaje automático. Nos dice que las redes neuronales, gracias a la composición de transformaciones afines y no linealidades, pueden aproximar cualquier función continua sobre un dominio compacto. Pero, al ser un teorema de existencia, calla sobre todo lo que realmente necesitamos saber para resolver un problema concreto: la arquitectura, el tamaño, el algoritmo de entrenamiento y las garantías de generalización.

Para mí, ahí reside su verdadera importancia, y no es poca. El teorema nos da una garantía rara en la ingeniería: dentro del universo de las redes neuronales existe, casi con seguridad, una solución a nuestro problema. Eso es lo que justifica dedicarles una vida de trabajo. Sabemos que vale la pena buscar porque sabemos que hay algo que encontrar.

Lo que no nos dice es dónde. Y esa es la otra cara: el teorema garantiza el destino, pero no entrega el mapa. Toda la historia de las redes neuronales —del primer perceptrón multicapa a los transformers de hoy— es el relato de esa búsqueda. Cada arquitectura nueva es una conjetura sobre dónde mirar dentro de un espacio que sabemos habitado pero no cartografiado. No es matemática que se deduce: es exploración, ensayo y perseverancia frente a lo desconocido.

Esa, para mí, es la lección que de verdad deja el teorema. Nos promete que la respuesta está ahí. Encontrarla sigue siendo nuestro trabajo.

Para profundizar

Los resultados originales que se discuten aquí:

Cybenko (1989), Approximation by superpositions of a sigmoidal function — y, casi a la vez, Hornik, Stinchcombe y White (1989), Multilayer feedforward networks are universal approximators.
Hornik (1991), Approximation capabilities of multilayer feedforward networks — la generalización que desliga la universalidad de la sigmoide.
Leshno, Lin, Pinkus y Schocken (1993), Multilayer feedforward networks with a nonpolynomial activation function can approximate any function — el caso no acotado.
Barron (1993), Universal approximation bounds for superpositions of a sigmoidal function — la cota constructiva que matiza la maldición de la dimensionalidad.
Lu, Pu, Wang, Hu y Wang (2017), The expressive power of neural networks: A view from the width — profundidad frente a anchura.

Y, si interesa la panorámica completa, Pinkus (1999), Approximation theory of the MLP model in neural networks, sigue siendo la mejor revisión del tema.