Machine learning in de cross-sectie

1Overzicht¶

Blijft er voorspelbaarheid over als een machine alle bekende kenmerken van aandelen tegelijk gebruikt en we de voorspellingen streng buiten de steekproef beoordelen? Ja, er blijft een kleine maar echte hoeveelheid over, vooral uit niet-lineaire verbanden. Zo’n voorspelling meet verwachte rendementen echter zonder ze te verklaren, en na kosten en na 2005 wordt de winst snel kleiner.

• We leiden af waarom een regressie met honderden voorspellers buiten de steekproef slechter doet dan de voorspelling nul, en hoe krimp dat herstelt.

• We schatten de stochastische discontofactor als krimpprobleem met een economische prior.

• We simuleren welke methoden de ware voorspelbaarheid terugvinden, en waarom een markt die optimaal leert toch voorspelbaar lijkt.

• We passen de methoden toe op 212 signaalportefeuilles van Chen en Zimmermann.

Het werk van Gu, Kelly en Xiu Gu et al. (2020), hierna GKX, zette deze onderzoekslijn in gang. Ze voerden bijna honderd kenmerken van tienduizenden Amerikaanse aandelen aan een reeks voorspelmethoden, van OLS tot netwerken met vijf verborgen lagen. Elke methode werd getoetst op dertig jaar data die bij het schatten niet waren gebruikt. In sommige gevallen verdubbelde een strategie op hun voorspellingen de prestatie van de beste regressiestrategieën. Die winst kwam volgens GKX uit niet-lineaire interacties tussen voorspellers, niet uit een nieuwe variabele. De vraag was daarmee niet langer welk kenmerk een risicopremie heeft, maar hoeveel voorspelbaarheid een gedisciplineerde machine uit alle kenmerken samen haalt.

Hier staat de meting het verst van de theorie af, want een voorspelling zonder model meet verwachte rendementen maar verklaart ze niet. Drie tegenbewegingen brachten structuur terug. Kelly, Pruitt en Su lazen kenmerken als bèta’s Kelly et al. (2019). Kozak, Nagel en Santosh schatten de SDF met een Bayesiaanse prior Kozak et al. (2020), en Martin en Nagel lieten zien dat voorspelbaarheid in de steekproef ook bij rationele beleggers te verwachten is Martin & Nagel (2022). Overzichten staan in Nagel (2021) en Kelly & Xiu (2023). De toepassing aan het eind is geen replicatie van GKX, omdat gegevens over losse aandelen niet gratis zijn.

2Intuïtie: waarom zou dit waar zijn?¶

Denk aan een analist die tweehonderd kenmerken van elk aandeel kent. Het ware verwachte rendement verschilt tussen aandelen misschien een paar procent per jaar, terwijl het gerealiseerde rendement tien procent per maand schommelt. Schat de analist tweehonderd regressiegewichten, dan past hij vooral die schommelingen aan, omdat elk gewicht wat ruis oppikt. Samen is die ruis groter dan het signaal, en daarom voorspelt de gewone regressie buiten de steekproef slechter dan de voorspelling nul.

Machine learning is in de eerste plaats een verzameling manieren om die ruis te temmen. Krimp (shrinkage, de gewichten systematisch naar nul trekken) ruilt een kleine, bekende vertekening in voor een grote daling van de variantie. Selectie zet de meeste gewichten precies op nul.

Pas daarna komt flexibiliteit aan bod. Een regressieboom splitst de aandelen herhaaldelijk in twee groepen en neemt per groep het gemiddelde, en een neuraal netwerk is een gelaagde, niet-lineaire functie. Beide vinden interacties die een lineair model mist, bijvoorbeeld dat momentum bij kleine aandelen anders werkt dan bij grote. Dat loont alleen met discipline, zoals middelen, vroeg stoppen en elke keuze toetsen op data die bij het schatten niet zijn gebruikt.

Blijft er voorspelbaarheid over, dan moet nog blijken wat ze betekent. Santa-Clara vraagt of de voorspellingen van GKX ook werken na publicatie, op grote schaal, na kosten en als de machines tegen elkaar handelen, en de geschiedenis van eerdere anomalieën belooft weinig goeds Santa-Clara (2026). Martin en Nagel waarschuwen subtieler. Beleggers die zelf moeten leren hoe tweehonderd kenmerken met kasstromen samenhangen, zitten er elke periode een beetje naast, zodat rendementen achteraf voorspelbaar lijken terwijl er vooraf niets te verdienen viel.

We verwachten dus dat krimp de gewone regressie verslaat zodra er veel voorspellers zijn. Bomen en netwerken winnen alleen als de wereld echte interacties bevat, en een markt die leert, lijkt in de steekproef voorspelbaarder dan erbuiten.

3Toy-voorbeeld: vijf aandelen, twee kenmerken, één maand¶

De cel hieronder laadt de pakketten die alle code van dit college gebruikt.

Vijf aandelen hebben twee gestandaardiseerde kenmerken $x_1$ en $x_2$ en een rendement $r$ in de maand erna, in procenten en min het cross-sectionele gemiddelde. Het voorbeeld laat zien wat krimp en selectie met twee regressiegewichten doen.

De kolommen hebben gemiddelde nul en staan loodrecht op elkaar, zodat $\mathbf{X}'\mathbf{X} = 10\,\mathbf{I}$. Daardoor valt elke methode uiteen in twee losse problemen, één per kenmerk. Voor elk probleem geldt het recept uit (5),

met $\lambda_1$ een straf op de absolute waarde van de gewichten en $\lambda_2$ een straf op hun kwadraat.

• Stap 1. $z_1 = 6 + 2 + 0 + 0 + 8 = 16$ en $z_2 = -3 + 4 + 0 + 0 - 4 = -3$.

• Stap 2, OLS ($\lambda_1 = \lambda_2 = 0$). $\hat b_1 = 1{,}6$ en $\hat b_2 = -0{,}3$. De residuen $0{,}5$, -1, 1, -1 en $0{,}5$ geven een kwadratensom van 3,5 tegen een totaal van 30, dus een $R^2$ in de steekproef van 88%.

• Stap 3, ridge ($\lambda_2 = 10$). $\hat b_1 = 16/20 = 0{,}8$ en $\hat b_2 = -3/20 = -0{,}15$, beide precies gehalveerd.

• Stap 4, LASSO ($\lambda_1 = 5$). $\hat b_1 = (16 - 5)/10 = 1{,}1$, en omdat $|z_2| = 3$ kleiner is dan 5, is $\hat b_2 = 0$.

• Stap 5, elastic net ($\lambda_1 = 5$, $\lambda_2 = 10$). $\hat b_1 = 11/20 = 0{,}55$ en $\hat b_2 = 0$.

De codecel rekent dezelfde gewichten uit met scikit-learn en schat daarnaast een regressieboom met één split, het bouwblok van de flexibele methoden uit de Theorie.

De gewichten met de hand en uit scikit-learn zijn gelijk, al deelt Lasso de kwadratensom door $2n$, zodat $\lambda_1 = 5$ bij $n = 5$ overeenkomt met alpha=1. De boom splitst op $x_1 \le -0{,}5$ en voorspelt het groepsgemiddelde, $(-3 - 2)/2 = -2{,}5$ voor aandelen 1 en 2 en $(1 + 0 + 4)/3 = 1{,}67$ voor de rest. Hij negeert $x_2$ en legt een trap waar OLS een lijn legt.

Ridge trekt de voorspellingen dus evenredig naar het gemiddelde en laat de rangorde intact, terwijl LASSO het zwakke kenmerk weggooit en het sterke met een vast bedrag krimpt. Welke van de twee beter voorspelt, kan dit voorbeeld niet zeggen, omdat we de ware gewichten niet kennen. Ook de $R^2$ van 88% zegt het niet, want met twee gewichten op vijf waarnemingen meet die vooral hoe goed OLS zich aan juist deze vijf rendementen aanpast.

4Theorie¶

Voorspellen met honderden kenmerken is een schattingsprobleem, en de theorie volgt dat probleem in drie stappen. Eerst splitsen we de voorspelfout in ruis, bias en variantie, wat laat zien waarom de gewone regressie faalt. Daarna leiden we het recept van krimp af, samen met de maatstaf waarmee GKX methoden vergelijken. Ten slotte brengen drie modellen structuur terug, van kenmerken als bèta’s via een gekrompen SDF tot beleggers die moeten leren. De kern is dat krimp de prijs is van een zwak signaal in veel ruis.

4.1Opzet: voorspellen is schatten¶

Een voorspelfout heeft drie bronnen, en bij rendementen weegt de schattingsfout het zwaarst. Ruis kan niemand voorspellen, een te stijf model mist een deel van de ware functie, en een onderzoeker die veel gewichten schat, pikt met elk gewicht ook ruis op. Een flexibeler model verkleint de tweede bron en vergroot de derde, en bij rendementen is die derde bijna altijd de grootste.

We schrijven het overrendement van aandeel $i$, hier kortweg $r_{i,t+1}$, als $r_{i,t+1} = g^\star(\mathbf{z}_{i,t}) + \varepsilon_{i,t+1}$. Daarin zijn $\mathbf{z}_{i,t}$ de $P$ voorspellers op $t$, bijvoorbeeld grootte en momentum, en is $g^\star(\mathbf{z}_{i,t}) = \E_t[r_{i,t+1}]$ het ware verwachte overrendement. GKX gebruiken precies deze opzet, met één functie $g^\star$ voor alle aandelen en maanden. Voor een geschatte functie $\hat g$ en een nieuwe waarneming $\mathbf{z}$ geldt

met de verwachting over trainingssteekproeven. De verwachte kwadratische fout is dus de ruis, plus het kwadraat van de gemiddelde misser, plus de spreiding van de schatting. Voor OLS met $P$ onafhankelijke voorspellers en $n$ waarnemingen is de bias nul en de variantieterm gemiddeld $\sigma_\varepsilon^2 P/n$, zodat de $R^2$ buiten de steekproef ongeveer

bedraagt. Hier is $R^2_{\text{pop}}$ de $R^2$ van de ware functie en $n_{\text{eff}}$ het effectieve aantal onafhankelijke waarnemingen. In een panel is dat veel minder dan het aantal aandeel-maanden, omdat aandelen in dezelfde maand samen bewegen, en daarom vergelijken GKX $P$ met het aantal maanden.

Bij een $R^2_{\text{pop}}$ van 0,5% per maand hoeft $P/n_{\text{eff}}$ maar 0,5% te zijn om alle voorspelbaarheid op te eten, en met de 920 voorspellers van GKX gebeurt dat bij ongeveer 184.000 effectieve waarnemingen. Het panel van GKX telt miljoenen aandeel-maanden, terwijl zestig jaar data samen maar 720 maanden zijn. Ligt $n_{\text{eff}}$ in de buurt van dat laatste getal, dan is $P/n_{\text{eff}}$ groter dan één en blijft er van de voorspelbaarheid niets over. Zo keert de standaardfout van 2% terug in de cross-sectie, want verwachte rendementen zijn slecht gemeten, zodat elke vrije parameter voorspelkracht kost. Zo vergaat het ook de analist met tweehonderd kenmerken, en krimp is het antwoord.

4.2Krimp en selectie: ridge, LASSO en elastic net¶

Krimp trekt de gewichten naar nul, en bij orthogonale voorspellers heeft dat een gesloten vorm. Een onderzoeker die weet dat bijna alle ware gewichten klein zijn, doet er goed aan een ruisgevoelige OLS-schatting richting nul bij te stellen. Een straf op het kwadraat van de gewichten drukt uit dat ze allemaal klein zijn, een straf op hun absolute waarde dat de meeste nul zijn. De drie schatters minimaliseren

met ridge Hoerl & Kennard (1970) als $\lambda_1 = 0$, LASSO Tibshirani (1996) als $\lambda_2 = 0$ en elastic net Zou & Hastie (2005) als beide positief zijn. Hoe groter een straf, hoe duurder een groot gewicht.

Ridge vermenigvuldigt elk OLS-gewicht dus met $d/(d+\lambda_2)$, en LASSO zet elk gewicht met $|z_j| \le \lambda_1$ op nul en schuift de rest $\lambda_1/d$ richting nul. In het toy-voorbeeld is $d = 10$, zodat ridge met $\lambda_2 = 10$ elk gewicht halveert. Ridge is ook de posterior-verwachting onder een normale prior $b_j \sim N(0, \sigma_\varepsilon^2/\lambda_2)$.

Bij één voorspeller met waar gewicht $\beta$ is de beste ridge-straf $\lambda^\star = \sigma_\varepsilon^2/\beta^2$ (oefening 3). Hoe zwakker het signaal ten opzichte van de ruis, hoe harder dus de krimp. Bij rendementen is die verhouding groot, bijvoorbeeld 100 als de ruis 3 is en het gewicht 0,3 bedraagt. Regressie op de eerste $K$ hoofdcomponenten (PCR) is een harde variant, want in de richting van een hoofdcomponent met variantie $d_j$ krimpt ridge met $d_j/(d_j + \lambda)$ en PCR met 1 of 0.

In de praktijk kiezen GKX $\lambda$ op een validatieblok (1975–1986) dat na het trainingsblok ligt, en toetsen ze daarna op 1987–2016. Willekeurige cross-validatie vermijden ze, omdat die de volgorde in de tijd breekt.

4.3Flexibiliteit: bomen en netwerken¶

Bomen en netwerken vangen interacties die een lineair model mist, maar betalen daarvoor met variantie. Een lineair model telt de effecten van “klein” en “recent verliezer” op. Een boom die eerst op grootte splitst en daarna binnen de kleine aandelen op het rendement van vorig jaar, laat het ene effect van het andere afhangen. Hij voorspelt het gemiddelde rendement van het blad waarin een aandeel valt en kiest elke split gretig, zoals in het toy-voorbeeld.

Een iets andere steekproef geeft een heel andere boom, en daarom middelen random forests Breiman (2001) veel diepe bomen op bootstrapsteekproeven. Heeft elke boom variantie $\sigma^2$ en onderlinge correlatie $\rho$, dan heeft het gemiddelde van $B$ bomen variantie $\rho\sigma^2 + (1-\rho)\sigma^2/B$. Bij $\rho = 0{,}5$ blijft dus minstens de helft van de variantie over, hoeveel bomen er ook zijn. Boosting Friedman (2001) telt juist veel ondiepe bomen op, elk geschat op de residuen van de vorige en gekrompen met een factor tussen nul en één.

Een neuraal netwerk stapelt lagen van lineaire combinaties met een knik, $\operatorname{ReLU}(u) = \max(u, 0)$. Het netwerk met drie verborgen lagen van GKX (NN3) heeft ruim 30.000 parameters en wordt onder meer getemd met early stopping, stoppen zodra de fout op het validatieblok stijgt. Ook dat is krimp, want de gewichten beginnen dicht bij nul en krijgen weinig tijd om weg te lopen. De $R^2$ van GKX piekt bij drie lagen, omdat maandrendementen weinig signaal bieden voor veel parameters.

4.4Hoe het getoetst wordt: de $R^2$ buiten de steekproef¶

GKX vergelijken voorspellingen met nul in plaats van met het historische gemiddelde, en die keuze maakt de toets strenger. In (14) was de maatstaf de kwadratische fout van de voorspeller ten opzichte van die van het historische gemiddelde, wat bij de markt redelijk is omdat de aandelenpremie positief is. Voor losse aandelen doet dat gemiddelde door ruis slechter dan nul, want één uitschieter van 50% tilt een gemiddelde over vijf jaar al bijna een procentpunt per maand op. Een zwakke maatstaf laat bovendien elk model goed lijken. GKX gebruiken daarom

gepoold over alle aandelen en maanden van het testblok $\mathcal{T}_3$. Een positieve waarde betekent dat het model beter doet dan niets voorspellen. Twee methoden vergelijken GKX met een Diebold-Mariano-toets op het maandelijkse verschil in kwadratische fout, met een Newey-West-standaardfout. De tabel geeft hun belangrijkste uitkomsten.

OLS met alle voorspellers doet slechter dan nul, terwijl het beste netwerk 0,40% van de maandelijkse variantie van losse aandelen voorspelt. De long-short-portefeuille op de voorspellingen van NN4 haalt ruim twee keer de Sharpe-ratio van OLS-3. Of de netwerken winnen doordat de wereld interacties bevat, laat de tabel niet zien, en die vraag beantwoordt de simulatie.

4.5Kenmerken als bèta’s: IPCA¶

Een kenmerk dat rendementen voorspelt, meet een bèta op een factor met een risicopremie of een fout in de prijs. Een model dat bèta’s uit kenmerken opbouwt, kan die lezingen tegen elkaar toetsen. Kelly, Pruitt en Su Kelly et al. (2019) schrijven

met $\mathbf{z}_{i,t}$ de kenmerken inclusief een constante, $\mathbf{f}_{t+1}$ een handvol latente factoren en $\boldsymbol{\Gamma}_\beta$ de matrix die kenmerken in bèta’s vertaalt. Een element van $\boldsymbol{\Gamma}_\beta$ zegt bijvoorbeeld hoeveel de bèta van een aandeel op de eerste factor stijgt als het bedrijf één standaarddeviatie kleiner is. Dit model heet instrumented PCA (IPCA), een analyse van hoofdcomponenten met bèta’s die lineair in waarneembare kenmerken zijn. De toets $\boldsymbol{\Gamma}_\alpha = 0$ vraagt of kenmerken nog iets voorspellen naast hun rol in de bèta’s. Volgens de auteurs verklaren een paar IPCA-factoren de cross-sectie beter dan bestaande factormodellen en zijn de alpha’s van anomalieën klein en insignificant, zodat kenmerken vooral covarianties lijken te meten.

4.6De SDF krimpen: Kozak, Nagel en Santosh¶

Ook de stochastische discontofactor is te schatten als krimpprobleem, en een economische prior zegt waar de krimp moet vallen. De tangentportefeuille $\mathbf{b} = \boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}$ bepaalt de SDF (Cochrane: p = E[mx]). Een onderzoeker die de tangentportefeuille uit honderden factoren schat, neemt grote posities in richtingen met weinig variantie, omdat $\boldsymbol{\Sigma}^{-1}$ daar de meetfout in $\boldsymbol{\mu}$ uitvergroot. Zonder bijna-arbitrage kan een portefeuille met weinig variantie echter geen grote premie hebben. Kozak, Nagel en Santosh, hierna KNS, krimpen die richtingen daarom het hardst.

We nemen $H$ factoren, hier long-short signaalportefeuilles, met overrendementen $\mathbf{F}_{t+1}$, verwachting $\boldsymbol{\mu}$ en covariantie $\boldsymbol{\Sigma}$, en de lineaire SDF $m_{t+1} = 1 - \mathbf{b}'(\mathbf{F}_{t+1} - \boldsymbol{\mu})$. Omdat een overrendement niets kost, moet $\E[m_{t+1}\mathbf{F}_{t+1}] = 0$, dus $\boldsymbol{\mu} = -\Cov(\mathbf{F}_{t+1}, m_{t+1}) = \boldsymbol{\Sigma}\mathbf{b}$, de relatie tussen premie en covariantie uit (11).

Het ongekrompen gewicht van component $j$ is $\bar\mu_{P,j}/\lambda_j$, en de krimpfactor $\lambda_j/(\lambda_j + \gamma)$ is klein voor componenten met weinig variantie, net als bij ridge. Onder de prior is de verwachte gekwadrateerde Sharpe-ratio van component $j$ gelijk aan $\kappa^2\lambda_j/\tau$, zodat grote premies bij grote bronnen van variantie horen. Opgeteld over alle componenten is $\E[\boldsymbol{\mu}'\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}] = \kappa^2$, zodat $\kappa$ de maximale Sharpe-ratio per periode meet die de onderzoeker vooraf verwacht, in de replicatie hieronder ongeveer 0,13 per maand. Hoe groter $\kappa$, hoe kleiner $\gamma$ en hoe minder de schatter krimpt, omdat de prior dan grotere premies toelaat. Dezelfde $\hat{\mathbf{b}}$ minimaliseert

een ridge op de prijsfouten $\bar{\boldsymbol{\mu}} - \boldsymbol{\Sigma}\mathbf{b}$. Met een extra straf op de absolute waarde van $\mathbf{b}$ ontstaat een elastic net die een SDF met weinig factoren zoekt.

Zo vinden KNS dat een SDF met een handvol kenmerkfactoren de gemiddelde rendementen slecht verklaart en een SDF met een paar hoofdcomponenten goed. Hun maatstaf is de cross-sectionele $R^2$ buiten de steekproef, $1 - \hat{\mathbf{e}}'\hat{\mathbf{e}}/\bar{\boldsymbol{\mu}}_2'\bar{\boldsymbol{\mu}}_2$, met prijsfouten $\hat{\mathbf{e}} = \bar{\boldsymbol{\mu}}_2 - \boldsymbol{\Sigma}_2\hat{\mathbf{b}}$ uit de momenten van het testblok, zodat een waarde van 0,4 betekent dat de prijsfouten nog 60% van de gekwadrateerde gemiddelden overlaten.

4.7Wat voorspelbaarheid betekent: Martin en Nagel¶

Voorspelbaarheid in de steekproef bewijst geen inefficiëntie als beleggers de parameters zelf moeten leren. Een belegger die moet leren hoe honderden kenmerken met kasstromen samenhangen, schat de waarde van een aandeel elke periode een beetje verkeerd. Achteraf lijken die fouten systematisch, hoewel ze vooraf niet te voorspellen waren.

In een gestileerde versie van hun model hebben $N$ activa elk $J$ kenmerken in de vaste matrix $\mathbf{X}$, en betalen ze per periode $\mathbf{y}_t = \mathbf{X}\boldsymbol{\theta} + \mathbf{e}_t$, met $\mathbf{e}_t \sim N(0, \sigma^2\mathbf{I})$. Beleggers zijn risiconeutraal, de rente is nul en hun prior is $\boldsymbol{\theta} \sim N(0, (g/J)\mathbf{I})$, zodat het totale kasstroomsignaal $g$ niet van $J$ afhangt. Na $t$ perioden is hun posterior-verwachting een ridge-schatter,

De prijs is $\mathbf{p}_t = \mathbf{X}\tilde{\boldsymbol{\theta}}_t$ en het rendement, payoff min prijs, is $\mathbf{r}_{t+1} = \mathbf{X}(\boldsymbol{\theta} - \tilde{\boldsymbol{\theta}}_t) + \mathbf{e}_{t+1}$. Omdat de beleggers risiconeutraal zijn en de rente nul is, geldt met hun informatie $\E_t[\mathbf{r}_{t+1}] = 0$, zodat de markt efficiënt is. Een econometrist die $\boldsymbol{\theta}$ als vast getal behandelt, ziet echter

met $\mathbf{X}'\mathbf{X} \approx N\mathbf{I}$. De breuk is het deel van het signaal dat de beleggers nog niet hebben geleerd. Met $t = g = \sigma = 1$ en $N = 500$ is dat $1/51 = 2\%$ bij $J = 10$ en $1/2{,}25 = 44\%$ bij $J = 400$. Het ongeleerde deel is dus groot zodra het aantal kenmerken in de buurt van het aantal activa komt.

Een regressie achteraf vindt dan een significante helling die geen winstkans is, omdat ze alleen bestaat in het licht van een $\boldsymbol{\theta}$ die niemand kende. Toetsen in de steekproef verwerpen daardoor vaak de nulhypothese van geen voorspelbaarheid, terwijl toetsen buiten de steekproef hun economische betekenis houden Martin & Nagel (2022). Een lerende markt lijkt dus in de steekproef voorspelbaarder dan erbuiten, en dat komt door leren, niet door een risicopremie of een fout.

5Simulatie: wat een eindige steekproef van voorspelbaarheid ziet¶

De simulatie vraagt wat een onderzoeker met een eindige steekproef ziet van voorspelbaarheid die wel of juist niet te benutten is. Het eerste deel meet hoeveel van de ware voorspelbaarheid elke methode terugvindt, het tweede hoe vaak een toets voorspelbaarheid ziet in een markt die rationeel leert.

5.1Hoeveel van de ware voorspelbaarheid vinden de methoden terug?¶

GKX simuleren in hun internetappendix een wereld waarin de voorspellers lineair binnenkomen en een wereld met niet-lineaire termen en interacties. Onze verkleinde variant heeft een signaal van 2% en idiosyncratische ruis van 10% per maand, zodat $\sigma^2/\beta^2$ hier 25 is, minder extreem dan bij de getallen van de Theorie.

• Er zijn 500 aandelen, 180 maanden, 20 persistente kenmerken die elke maand een rang tussen -1 en 1 krijgen, en één persistente macrovariabele $x_t$. De voorspellers zijn de kenmerken en hun producten met $x_t$, dus $P = 40$.

• In de lineaire wereld is $g^\star$ een gewogen som van $c_1$, $c_2$ en $c_3x_t$, in de niet-lineaire van $c_1^2 - \tfrac13$, $c_1c_2$ en $\operatorname{sign}(c_3x_t)$, met elke term geschaald op eenheidsvariantie. Maar drie van de twintig kenmerken tellen, en de andere zeventien zijn zuivere ruis die een methode moet leren negeren.

• Maanden 1–108 zijn training, 109–144 validatie en 145–180 test.

Het netwerk heeft de lagen van NN3 (32, 16 en 8 neuronen), met early stopping maar zonder middeling over startwaarden. De eerste cel bouwt het panel, zet de modellen met hun validatie klaar en draait twee lineaire panels.

Met een derde replicatie erbij geeft de tabel per replicatie de populatie-$R^2$ en die van elke methode, in procenten. De populatie-$R^2$ is die van de ware $g^\star$ zelf, en daarmee de maat waartegen elke methode zich meet.

De lineaire methoden liggen hier dicht bij de populatiewaarde, en de volgende twee cellen herhalen de proef in de niet-lineaire wereld.

De tweede cel voegt de derde niet-lineaire replicatie toe en zet de uitkomsten in dezelfde tabel als in de lineaire wereld.

Nu blijven de lineaire methoden ver onder de populatiewaarde. De figuur zet beide werelden naast elkaar, met de populatiewaarde als gestippelde lijn.

Figuur 1 laat het patroon van GKX zien. In de lineaire wereld liggen de lineaire methoden binnen een half procentpunt van de populatiewaarde, terwijl de bomen tot 0,6 en het netwerk tot 1,1 procentpunt verliezen. In de niet-lineaire wereld halen de lineaire methoden rond een half procent tegen een populatiewaarde van 3,3 tot 3,7%, en vindt boosting het meeste terug. Flexibiliteit loont dus alleen als de wereld interacties bevat, en anders kost ze alleen variantie.

OLS faalt hier niet zoals bij GKX en blijft binnen enkele honderdsten van een procentpunt van ridge, omdat 40 voorspellers tegen 54.000 trainingswaarnemingen te weinig zijn om de variantieterm te laten tellen. Dat krimp OLS verslaat, toont deze simulatie dus niet. In oefening 4 groeit $P/n_{\text{eff}}$, en daar stort OLS in één van drie replicaties wel in.

De populatie-$R^2$ zelf loopt tussen de lineaire replicaties uiteen van 1,4% tot 5,0%, alleen door ruis in 36 testmaanden. Zelfs de ware voorspelbaarheid is in drie jaar testdata dus slecht gemeten, slechter dan de verschillen tussen de goede methoden.

5.2Wanneer lijkt een lerende markt voorspelbaar?¶

We simuleren (10) met $N = 500$ activa, $g = \sigma = 1$ en een oplopend aantal kenmerken $J$, telkens voor 100 economieën. De beleggers zien één periode kasstromen voordat de vijf perioden van de econometrist beginnen. Per economie berekenen we de $F$-toets van een gepoolde regressie van rendementen op $\mathbf{X}$ in de steekproef. Daarnaast schatten twee econometristen elke periode opnieuw op de rendementen tot dan toe, de een met OLS en de ander met de ridge van de beleggers. Van beiden meten we de $R^2$ buiten de steekproef.

De tabel geeft per waarde van $J/N$ het ongeleerde deel, hoe vaak de toets verwerpt en de mediane $R^2$ buiten de steekproef. Een aparte kolom zegt hoeveel de $R^2$ in de steekproef boven die van zuivere ruis ligt. De figuur zet de toets in de steekproef links tegenover de voorspellingen erbuiten rechts.

Links groeit het ongeleerde deel van 2% bij $J/N = 0{,}02$ tot 44% bij $J/N = 0{,}8$, en verwerpt de $F$-toets tussen $J/N = 0{,}1$ en $0{,}4$ in rond 55% van de economieën. Bij $J/N = 0{,}8$ zakt dat weer naar 15%, omdat de toets dan $J$ vrijheidsgraden moet betalen, een eigenschap van onze toets en niet van het mechanisme. De $R^2$ in de steekproef ligt bij elke $J/N$ boven die van zuivere ruis, het verst (1,5 procentpunt) bij $J/N = 0{,}4$.

Rechts is het beeld eenduidig. De mediane $R^2$ zakt voor de OLS-econometrist van $-1{,}8\%$ naar $-50\%$ en voor de ridge-econometrist tot $-19\%$, en in geen van de 700 economieën is de ridge-$R^2$ positief. Ook een econometrist die de prior kent, verliest, omdat de beleggers bijleren en de schijnbare fout van gisteren niet die van vandaag is. Daarom rapporteren GKX, KNS en de replicatie hieronder alleen resultaten buiten de steekproef.

6Replicatie op echte data¶

6.1(1) Welk signaal doet het volgende maand goed?¶

Per signaal en maand zijn er zes voorspellers. Vier zijn eigen grootheden, namelijk het rendement van deze maand, het gemiddelde over de elf maanden ervoor en over de twee jaar daarvoor, en de volatiliteit over twaalf maanden. Twee zijn gemeenschappelijk, namelijk het gelijkgewogen rendement van alle signalen deze maand en over de elf maanden ervoor. De eerste cel bouwt dit panel.

Het panel telt ruim 134.000 signaal-maanden. We schatten om de vijf jaar opnieuw, met de vijf jaar ervoor als validatie, alles daarvoor als training en de vijf jaar erna als test.

De voorspellingen lopen van januari 1990 tot november 2024. Per methode berekent de volgende cel vier maatstaven:

• de $R^2$ van GKX,

• de $R^2$ tegen het historische gemiddelde per signaal ((14)),

• de Diebold-Mariano-$t$ tegen OLS,

• de Sharpe-ratio van een portefeuille die elke maand de 20% signalen met de hoogste voorspelling koopt en de 20% met de laagste verkoopt.

De standaardfout van die Sharpe-ratio is $\sqrt{(1 + SR_m^2/2)/T}\cdot\sqrt{12}$, met $SR_m$ de maandelijkse waarde.

De tabel laat zien dat de bomen OLS verslaan, zoals verwacht, maar met weinig. De belangrijkste getallen staan hieronder naast die van GKX.

Geslaagd. Random forest en boosting verslaan OLS met ruim een derde procentpunt, maar met een Diebold-Mariano-$t$ van 0,7 is dat verschil niet van nul te onderscheiden. De winst zit bovendien helemaal vóór 2005, want daarna vallen beide bomen onder OLS. De $R^2$ ligt hier veel hoger dan bij GKX, omdat de signalen gemiddeld een positieve premie hebben en een portefeuille van honderden aandelen veel minder idiosyncratische ruis draagt dan een los aandeel.

Economisch is het beeld nog soberder. Elke methode geeft een long-short Sharpe-ratio rond 0,78, met een standaardfout van 0,17, terwijl sorteren op het historische gemiddelde 1,32 oplevert. Timing binnen de factor zoo voegt dus weinig toe aan het dragen van de gemiddelde anomaliepremie. Dat weerlegt GKX niet, maar past bij Avramov, Cheng en Metzker Avramov et al. (2023), volgens wie de extra voorspelbaarheid klein is waar de handel goedkoop is. Na 2005 dalen de $R^2$ van GKX en alle Sharpe-ratio’s, ook die van alle signalen gelijkgewogen, wat past bij het publicatieverval uit De factor zoo. Alleen de $R^2$ tegen het historische gemiddelde stijgt, omdat dat gemiddelde na 2005 zelf slecht voorspelt.

6.2(2) Een gekrompen SDF op 158 signalen¶

We delen de 158 signalen met een volledige reeks door hun standaarddeviatie over 1975–2004 en schatten $\hat{\mathbf{b}}$ uit (8) op dat blok, met $\kappa$ gekozen door drievoudige cross-validatie over blokken van tien jaar. De eerste cel vergelijkt de gekrompen SDF met de ongekrompen tangentportefeuille en met alle signalen gelijkgewogen.

De gekrompen SDF, met een door cross-validatie gekozen $\kappa = 0{,}133$, verwacht vooraf een maximale Sharpe-ratio van ongeveer 0,46 per jaar. Ze verklaart na 2005 evenveel van de cross-sectie van gemiddelden als in de schattingsperiode, terwijl de ongekrompen tangentportefeuille in de schattingsperiode per constructie alles verklaart en daarna minder dan niets. De prijsfouten van die portefeuille zijn na 2005 ruim dertien keer zo lang als de vector van gemiddelde rendementen, en zo ziet de schattingsfout in $\boldsymbol{\Sigma}^{-1}\bar{\boldsymbol{\mu}}$ eruit.

In Sharpe-ratio’s blijft de ongekrompen portefeuille wel voorop, ook na 2005, al komt die voorsprong in de schattingsperiode vooral uit ruis waarop de gewichten zijn afgestemd. Het verschil na 2005 is met 0,25 van dezelfde orde als de standaardfout van één Sharpe-ratio over 240 maanden, ongeveer 0,24 volgens de formule bij (1), terwijl de daling na de schattingsperiode vele malen groter is. Die daling mengt overfitting en publicatieverval, en met één splitsing zijn die twee niet te scheiden.

Daarna vergelijken we twee sparse SDF’s, met weinig gewichten ongelijk aan nul en dezelfde straf $\gamma$. De eerste geeft alleen de eerste $K$ hoofdcomponenten een gewicht $\bar\mu_{P,j}/(\lambda_j + \gamma)$, zoals in Proposition 2. De tweede is de elastic net op (9) met een oplopende straf op de absolute waarde, en die is een gewone LASSO op aangevulde gegevens. Met $\mathbf{y}_{aug}$ gelijk aan $\boldsymbol{\Sigma}^{-1/2}\bar{\boldsymbol{\mu}}$ boven $H$ nullen en $\mathbf{X}_{aug}$ gelijk aan $\boldsymbol{\Sigma}^{1/2}$ boven $\sqrt{\gamma}\,\mathbf{I}$ is $\lVert\mathbf{y}_{aug} - \mathbf{X}_{aug}\mathbf{b}\rVert^2$ precies (9), zodat de straf van Lasso alleen de absolute waarde toevoegt.

De tabel zet beide varianten naast elkaar bij hetzelfde aantal variabelen $K$, en de figuur laat zien hoe ver de twee lijnen bij kleine $K$ uiteenliggen.

De tabel zet de uitkomsten na 2005 naast de bevindingen van KNS. Voor KNS staan er woorden in plaats van getallen, omdat hun data en toetsperiode van de onze verschillen.

Geslaagd. In de maatstaf van KNS verslaan de hoofdcomponenten de signalen, zoals verwacht. Vier hoofdcomponenten halen bijna twee derde van de volledige SDF, terwijl vier signalen op een tiende daarvan blijven steken.

In de Sharpe-ratio draait de rangorde om, want vier signalen geven ruim twee keer de Sharpe-ratio van vier hoofdcomponenten. De elastic net kiest de signalen met de hoogste premie per eenheid risico, en die blijven na 2005 goed renderen maar verklaren de andere signalen niet. Een belegger die één portefeuille zoekt, krijgt dus een ander antwoord dan een onderzoeker die de SDF zoekt.

7Wat er brak, en wat daarna kwam¶

Wat machine learning verklaart. Machine learning maakte van de factor zoo een meetprobleem met een oplossing. Honderden kenmerken, in De factor zoo nog een bron van valse ontdekkingen, worden met krimp en validatie één voorspelling die buiten de steekproef standhoudt. Bij GKX is dat een maandelijkse $R^2$ van 0,40% tegen $-3{,}46\%$ voor OLS met alle voorspellers. KNS beschreven de SDF achter al die anomalieën met een paar hoofdcomponenten, en Kelly, Pruitt en Su lazen kenmerken als bèta’s.

Waar het breekt. Het model breekt niet in de voorspelling maar in de vertaling naar winst en betekenis. Volgens Avramov, Cheng en Metzker halen strategieën op machine-learningvoorspellingen hun winst vooral uit moeilijk verhandelbare aandelen, en wordt die winst kleiner zodra de kleinste aandelen eruit gaan. In onze replicatie is de winst van de bomen klein en na 2005 verdwenen. Martin en Nagel wijzen op de diepste zwakke plek, want zelfs perfect gemeten voorspelbaarheid in de steekproef zegt niets over efficiëntie als beleggers moeten leren.

Risico of vergissing? Volgens de Chicago-lezing, waarin verwachte rendementen risicopremies zijn, meet een netwerk die premies beter omdat bèta’s niet-lineair van kenmerken afhangen, zoals IPCA en de prior van KNS suggereren. Volgens de Yale-lezing, waarin beleggers zich vergissen en arbitrageurs dat maar deels herstellen, zijn de sterkste voorspellers bij GKX niet toevallig kortetermijnomkering, momentum, liquiditeit en volatiliteit. Daar laten limits of arbitrage (de kosten en risico’s die arbitrageurs afremmen) sporen na, en daar eten handelskosten de alpha op. Martin en Nagel voegen met leren een derde lezing toe. Scheiden kan alleen met voorspelbaarheid na publicatie, op schaal en na kosten, en die data bestaan nog niet. Voor een belegger blijft de vraag van Santa-Clara of een netwerkvoorspelling een risicopremie is of een vermeend inzicht.

Wat er daarna kwam. Waarom prijzen bewegen, is ook te onderzoeken door te kijken wie de aandelen koopt en hoe gevoelig die kopers voor de prijs zijn, in demand systems en inelastische markten.

8Oefeningen¶

ridge_30 = Ridge(alpha=30, fit_intercept=False).fit(X_toy, r_toy).coef_
lasso_2 = Lasso(alpha=2 / 5, fit_intercept=False).fit(X_toy, r_toy).coef_   # alpha = lambda / n
pd.DataFrame({"met de hand": [0.4, -0.075, 1.4, -0.1],
              "scikit-learn": np.concatenate([ridge_30, lasso_2])},
             index=["ridge b1", "ridge b2", "LASSO b1", "LASSO b2"]).round(4)

n_pred, t_train, t_test, n_true, p_max, n_rep_kmz = 15, 120, 1000, 4000, 1200, 50
w_true = rng.normal(size=(n_true, n_pred))
b_true = rng.normal(size=n_true)


def premium(x):
    return np.sin(2 * x @ w_true.T / np.sqrt(n_pred)) @ b_true / np.sqrt(n_true)


x_test = rng.normal(size=(t_test, n_pred))
mu_test = premium(x_test)
noise_sd = mu_test.std() * np.sqrt(0.95 / 0.05)                 # population R^2 = 5%
complexity = np.array([0.1, 0.25, 0.5, 0.75, 0.9, 1.0, 1.1, 1.5, 2, 3, 5, 10])
kmz = {k: np.zeros((n_rep_kmz, len(complexity))) for k in
       ["R2 ridgeless", "R2 ridge", "SR ridgeless", "SR ridge"]}
for rep in range(n_rep_kmz):
    W = rng.normal(size=(p_max, n_pred))
    x_train = rng.normal(size=(t_train, n_pred))
    y_train = premium(x_train) + noise_sd * rng.normal(size=t_train)
    y_test = mu_test + noise_sd * rng.normal(size=t_test)
    S_train = np.sin(2 * x_train @ W.T / np.sqrt(n_pred))
    S_test = np.sin(2 * x_test @ W.T / np.sqrt(n_pred))
    for k, c in enumerate(complexity):
        P = int(round(c * t_train))
        A, B = S_train[:, :P] / np.sqrt(P), S_test[:, :P] / np.sqrt(P)
        betas = {"ridgeless": np.linalg.lstsq(A, y_train, rcond=None)[0],       # min-norm
                 "ridge": A.T @ np.linalg.solve(A @ A.T + 0.1 * t_train * np.eye(t_train), y_train)}
        for name, beta in betas.items():
            forecast = B @ beta
            kmz[f"R2 {name}"][rep, k] = oos_r2(y_test, forecast)
            kmz[f"SR {name}"][rep, k] = hap.sharpe(pd.Series(forecast * y_test))

kmz_table = pd.DataFrame({"P/T": complexity,
                          "R2 ridgeless (mediaan, %)": 100 * np.median(kmz["R2 ridgeless"], 0),
                          "R2 ridge (mediaan, %)": 100 * np.median(kmz["R2 ridge"], 0),
                          "Sharpe ridgeless": kmz["SR ridgeless"].mean(0),
                          "Sharpe ridge": kmz["SR ridge"].mean(0)}).set_index("P/T")
kmz_table.round(3)

d, sigma, beta = 10.0, 3.0, 0.3
lam_star = sigma**2 / beta**2
mse = lambda lam: (lam * beta / (d + lam)) ** 2 + sigma**2 * d / (d + lam) ** 2
z_draws = d * beta + sigma * np.sqrt(d) * rng.normal(size=100_000)
mc = {lam: np.mean((z_draws / (d + lam) - beta) ** 2) for lam in (0.0, lam_star)}
print(f"lambda* = {lam_star:.0f}, krimpfactor d/(d+lambda*) = {d / (d + lam_star):.3f}")
print(f"MSE OLS   : analytisch {mse(0):.4f}, Monte Carlo {mc[0.0]:.4f}")
print(f"MSE ridge : analytisch {mse(lam_star):.4f}, Monte Carlo {mc[lam_star]:.4f}")
print(f"verhouding ridge/OLS = {mse(lam_star) / mse(0):.3f}")

lambda* = 100, krimpfactor d/(d+lambda*) = 0.091
MSE OLS   : analytisch 0.9000, Monte Carlo 0.8972
MSE ridge : analytisch 0.0818, Monte Carlo 0.0818
verhouding ridge/OLS = 0.091

linear_models = {k: SIM_MODELS[k] for k in ["OLS", "ridge", "LASSO"]}
month = np.repeat(np.arange(48), 500)
train, valid, test = month < 30, (month >= 30) & (month < 39), month >= 39
rows = []
for rep in range(3):
    Z, y, g = simulate_gkx(rng, nonlinear=False, n_stocks=500, n_months=48, n_char=80)
    row = {"populatie": oos_r2(y[test], g[test])}
    row.update(fit_validate(linear_models, Z, y, train, valid, test))
    rows.append(row)
(100 * pd.DataFrame(rows).rename_axis("replicatie")).round(2)