Qué le hace a tus resultados probar diez variaciones
Probar diez variaciones en una tarde es aquello en lo que un constructor sin código es realmente bueno. Y también es, hecho sin cuidado, la forma más rápida de producir una cifra que no significa nada — y eso tiene un nombre en la literatura.
La mejor de diez no es la mejor
Si pruebas diez variaciones y te quedas con la de mayor rentabilidad, esa rentabilidad es una estimación sesgada de lo que hará a continuación. No encontraste la mejor estrategia; encontraste la variación que mejor se ajustó al ruido de esta muestra concreta. El paso de selección es lo que introduce el sesgo, y ocurre tanto si pretendías buscar como si no.
Esto es data snooping, y se ha estudiado específicamente sobre reglas técnicas. Sullivan, Timmermann y White (1999) reexaminaron el rendimiento de las reglas de trading técnico teniendo en cuenta que se habían probado muchas reglas sobre los mismos datos [1]. El Reality Check de White da el método para preguntar si la mejor de muchas estrategias realmente supera a un índice de referencia, en lugar de solo parecerlo [2].
Harvey, Liu y Zhu (2016) concretan la consecuencia en un contexto relacionado: una vez que tienes en cuenta cuántos candidatos se han probado, el umbral de significación que debe superar cualquier superviviente sube, no baja [3].
La traducción práctica es incómoda y breve: diez pruebas hacen que tu mejor resultado sea menos fiable que si hubieras hecho una sola.
Por qué parece lo contrario
Porque probar más parece trabajar más, y porque la herramienta informa de cada prueba por separado. El Strategy Tester te muestra el resultado de la variación siete. No tiene idea de que existieron las variaciones uno a seis, así que no puede descontar la cifra que te está mostrando — y nada en la interfaz te dirá nunca que has estado buscando.
El sobreajuste tampoco deja rastro en el código. Está limpio, los costes son honestos, el backtest es correcto. Solo el historial de tu propia búsqueda distingue una ventaja descubierta de una coincidencia seleccionada, y ese historial está en tu cabeza.
El recuento forma parte del resultado
Así que la cifra que hay que anotar no es solo la rentabilidad. Es:
«La mejor de N variaciones probadas, en este instrumento, en este rango de fechas.»
Publica la rentabilidad sin la N y has publicado algo no verificable. Publícala con la N y un lector puede juzgarla. Es el mismo punto de reproducibilidad que indicar tu plan de TradingView al citar un backtest — ver ejecutar y mantener una estrategia para saber por qué el plan también cambia el resultado.
Un protocolo que sobrevive a diez pruebas
La respuesta no es dejar de buscar. Buscar es como se encuentra cualquier cosa. La respuesta es fijar las reglas de la búsqueda antes de empezar, porque cada decisión que tomas después de ver un resultado es otro paso de selección.
Decide estas cuatro cosas antes de la primera prueba
| Decide por adelantado | Por qué tiene que ser antes |
|---|---|
| la métrica con la que juzgarás | elegir la métrica tras ver los resultados es elegir la que te favorece |
| el rango de fechas que probarás | acortar un rango porque «no es representativo» es ajustar |
| el número de variaciones que probarás | si no, paras cuando estás contento, y ese momento nunca es neutral |
| una ventana reservada que no mirarás | solo es fuera de muestra si no la has visto |
La cuarta es la que la gente se salta, y es la única que produce evidencia. Reserva un tramo de historial — el más reciente es la elección honesta — y no ejecutes ni una prueba en él hasta que la búsqueda termine. Tienes exactamente una mirada. Si el ganador se desmorona ahí, la búsqueda encontró ruido, y eso conviene saberlo en una tarde y no operando en vivo.
Prefiere una meseta a un pico
Esta no cuesta nada y es lo más informativo que puedes hacer con diez resultados. Ordena las variaciones por parámetro y mira la forma:
- un pico — un buen resultado con resultados malos a ambos lados — es casi con seguridad un ajuste. Nada sobre los mercados dice que un periodo de 14 funcione y 13 y 15 no.
- una meseta — una banda de valores vecinos que funcionan aceptablemente — es una propiedad del instrumento. Elige el centro de la meseta, no su punto más alto.
La barra más alta de un conjunto de diez es la que más probablemente lo sea por suerte. Elegir su vecina te cuesta un poco de rendimiento declarado y te compra la única evidencia de robustez disponible sin un segundo conjunto de datos.
Cambia una cosa a la vez
Diez variaciones que difieren cada una en tres aspectos no te enseñan nada sobre qué cambio importó. Diez que difieren en una sola dimensión — un solo umbral, un solo periodo — producen la superficie de parámetros descrita arriba. Es el mismo número de pruebas y una cantidad de información completamente distinta.
Lo que la plataforma te dejará hacer
Probar muchas variaciones rápido choca con límites que no son estadísticos. Cada ejecución está acotada por el tiempo asignado, 20 segundos para cuentas básicas y 40 para las demás, y una estrategia puede colocar como máximo 9.000 órdenes en un backtest antes de dejar de añadir operaciones [4]. En una temporalidad corta sobre un rango largo, una variación puede alcanzar ese tope e informar de una curva plana que parece una estrategia mala en lugar de una prueba truncada: comprueba el número de operaciones frente al tope antes de clasificarla.
Y tu rango de fechas está acotado por las barras que te da tu plan [4], así que todas las variaciones de la búsqueda ven la misma porción de historial, determinada por el plan. Eso está bien, siempre que sea la porción que declaras.
Y luego anota el recuento
La mejor de diez, en este instrumento, en este rango, juzgada con esta métrica, con un resultado reservado de X. Esa frase vale más que la rentabilidad por sí sola, y es lo que querrás tener cuando vuelvas a mirar esta estrategia en tres meses y no recuerdes cuánto tuviste que buscar para encontrarla.
Tactix AI en este flujo
AlfaTactix incluye Tactix AI: usa Tactix Studio para describir tu idea en lenguaje natural y rellenar timeframes, señales, filtros y riesgo en el mismo formulario de seis pasos — o abre Tactix Guide en cualquier paso si solo necesitas explicar un campo. Revisa cada valor y luego exporta MQL5 o Pine Script desde Code Generator (form-first — no prompt-to-code sin probar).