De factor zoo

1Overzicht¶

Hoeveel van de honderden gepubliceerde voorspellers van rendementen, in dit college signalen, zijn echt, en waarom verzwakken ze na publicatie? De meeste doorstaan een strengere drempel en zijn in de oorspronkelijke constructie te repliceren. Na publicatie verliezen ze echter meer dan de helft van hun rendement, veel meer dan publicatieselectie alleen kan verklaren. Dit college gaat in vier stappen.

• We leiden de procedures voor meervoudig toetsen af, van Bonferroni en Holm tot Benjamini-Hochberg-Yekutieli, en zien waarom de drempel met het aantal geprobeerde signalen stijgt.

• We laten zien dat selectie op $t > 2$ de gepubliceerde rendementen opblaast, en hoeveel daling na publicatie daaruit volgt als functie van de ware sterkte van een signaal.

• We simuleren een vakgebied zonder één echte anomalie, waarin de gepubliceerde signalen na publicatie al hun rendement verliezen.

• We repliceren de verzwakking na publicatie, de strengere drempels en de alpha’s ten opzichte van vijf factoren plus momentum op 212 signalen.

In zijn presidentiële rede voor de American Finance Association zei John Cochrane in 2011 dat de cross-sectie vroeger uit het CAPM leek te komen. Nu hebben we volgens hem een dierentuin van nieuwe factoren Cochrane (2011). Die factor zoo (de honderden gepubliceerde kenmerken die rendementen voorspellen) telde bij Harvey et al. (2016) al 316 soorten. Zij eisten daarom een $t$-waarde boven 3. McLean & Pontiff (2016) vonden dat rendementen na publicatie ruim de helft lager liggen, en Hou et al. (2020) dat de meeste van 452 anomalieën verdwijnen als kleine aandelen weinig gewicht krijgen. Daarop volgde een tegenreactie van Chen & Zimmermann (2022) en Jensen et al. (2023), die de meeste signalen wel konden repliceren. Waarom ze verzwakken, staat bij Santa-Clara (2026) nog op de lijst van open vragen. Zo verschuift het werk in de cross-sectie van het toetsen van één theorie naar het tellen van feiten die op een verklaring wachten.

2Intuïtie: waarom zou dit waar zijn?¶

Denk aan een vakgebied met driehonderd onderzoekers. Elk van hen heeft een database en een idee, en elk idee laat zich op tien manieren uitwerken, bijvoorbeeld met een andere definitie van winst of een andere weging. Stel verder dat geen enkel idee iets voorspelt. Toch haalt ongeveer een op de veertig uitwerkingen door toeval een $t$-waarde boven twee. Tijdschriften publiceren die resultaten en de rest verdwijnt in een la, zodat de literatuur vol significante signalen staat.

Na publicatie komt het toeval dat zo’n signaal in de steekproef significant maakte niet terug, en zijn gemiddelde rendement zakt naar nul. Voor een lezer lijkt de anomalie dan verdwenen, terwijl er nooit iets was. Dat heet de winner’s curse (de vloek van de winnaar): wie selecteert op een hoge schatting, selecteert ook op een gunstige meetfout.

Er zijn twee andere redenen waarom een rendement na publicatie kan zakken. Is het signaal een patroon dat beleggers over het hoofd zagen, dan lezen hedgefondsen het artikel en handelen erop tot het niet meer loont. Is het een beloning voor risico, dan kan de premie dalen omdat meer beleggers dat risico willen dragen. McLean en Pontiff zagen dat de kalender deze verhalen deels scheidt. Tussen het einde van de steekproef en de publicatie is het toeval uit de steekproef al weg, terwijl de markt het resultaat nog niet kent. Een daling in die tussenperiode is dus statistiek, en een extra daling na publicatie is leren.

Daarom vraagt een grote factor zoo om een hogere drempel en om shrinkage (krimpen: een schatting naar een gemeenschappelijk gemiddelde trekken, harder naarmate ze ruisiger is). Een gemeten rendement van 1% per maand is dan waarschijnlijk een kleinere echte premie met een gunstige meetfout. We verwachten dus dat een toevalstreffer na publicatie al zijn rendement verliest en een sterk signaal bijna niets. De daling in de tussenperiode zou kleiner moeten zijn dan die na publicatie.

3Toy-voorbeeld: tien kandidaat-signalen en zes procedures¶

Een onderzoeker toetst tien signalen, A tot en met J. Van elk signaal kent hij de $t$-waarde van het gemiddelde long-short-rendement. Alleen A heeft een echte premie, en de andere negen zijn ruis, maar dat weet hij niet. Bij onafhankelijke toetsen haalt een nulsignaal $|t| \ge 2{,}2$ met kans 0,028 (de p-waarde van E hieronder), zodat gemiddeld $9 \times 0{,}028 \approx 0{,}25$ van de negen zo ver komen, geen vier. Bij varianten van één idee, die samen hoog of laag uitvallen, zijn vier treffers wel goed mogelijk.

De tweezijdige p-waarde is $p = 2\,(1 - \Phi(|t|))$, met $\Phi$ de standaardnormale verdelingsfunctie uit een normale tabel. De tabel sorteert de p-waarden van klein naar groot, met rang $j$, en geeft per rang de grens van vier procedures bij 5%. Bonferroni verdeelt de 5% over de tien toetsen en Holm maakt die grens na elke verwerping ruimer, zodat beide tegen ook maar één onterechte ontdekking beschermen. BH en BHY bewaken het aandeel onterechte ontdekkingen, zodat hun grens met de rang meegroeit, en BHY is strenger om ook bij samenhangende signalen te gelden. De Theorie leidt de grenzen af.

Uit de tabel volgen zes antwoorden, die alleen in de grens verschillen.

1. Naïef ($p \le 0{,}05$, dus $|t| > 1{,}96$) vindt A tot en met E, vijf ontdekkingen waarvan vier onterecht.

2. $t > 3$ vindt alleen A.

3. Bonferroni vergelijkt elke $p$ met $0{,}05/10 = 0{,}005$, wat overeenkomt met $|t| > 2{,}807$, en vindt alleen A, omdat B met $0{,}00527$ net boven de grens blijft.

4. Holm loopt van boven naar beneden en stopt bij de eerste mislukking. A haalt $0{,}005$ en B haalt $0{,}00556$, maar C mist $0{,}00625$, zodat A en B overblijven.

5. Benjamini-Hochberg (BH) zoekt de grootste rang met $p_{(j)} \le 0{,}05\,j/10$. Bij D geldt $0{,}01429 \le 0{,}020$, en geen hogere rang haalt zijn grens, dus BH vindt A tot en met D.

6. BHY deelt de grenzen van BH door $1 + \tfrac12 + \dots + \tfrac1{10} = 2{,}929$. Alleen A haalt dan zijn grens. Bij rang 2 is BHY met 0,00341 zelfs strenger dan Bonferroni met 0,005, zodat de prijs van robuustheid bij tien signalen al zichtbaar is.

Eén functie voert de zes procedures uit op een rij $t$-waarden, zodat we haar later op echte data kunnen gebruiken. Een tweede cel zet de ontdekkingen naast die van de hand.

Code en hand vinden dezelfde signalen. Benjamini-Hochberg accepteert hier drie nulsignalen, omdat het alleen hun aandeel beperkt. Met één lijstje $t$-waarden vindt de onderzoeker dus één tot vijf signalen, afhankelijk van de vergissing die hij wil vermijden.

4Theorie¶

De theorie beantwoordt de twee helften van de vraag. Voor de vraag hoeveel signalen echt zijn, leiden we de procedures uit het toy-voorbeeld af en daarna de Bayesiaanse shrinkage van gemeten rendementen. Voor de verzwakking berekenen we hoeveel selectie een gepubliceerd rendement opblaast en hoe McLean en Pontiff selectie en arbitrage scheiden. Tot slot bekijken we de modellen die de factor zoo met een handvol factoren willen samenvatten.

4.1Opzet en notatie¶

Er zijn $M$ signalen (in de literatuur ook anomalieën of factoren), $i = 1, \dots, M$, bijvoorbeeld de 316 van Harvey, Liu en Zhu. Signaal $i$ is een long-short-portefeuille met maandrendement $r_{i,t+1}$ en ware premie $\alpha_i$, het gemiddelde rendement, of de alpha als er een factormodel bij staat. Over $T_i$ maanden schatten we $\hat\alpha_i$ met standaardfout $s_i$, en $t_i = \hat\alpha_i/s_i$. In grote steekproeven is $t_i \approx \mathcal{N}(\delta_i, 1)$, waarin $\delta_i = \alpha_i/s_i$ de verwachte $t$-waarde is. Een premie van 0,5% per maand met een standaardfout van 0,2% heeft bijvoorbeeld $\delta_i = 2{,}5$. De nulhypothese $H_i$ is $\alpha_i = 0$, en de $M_0$ ware nulhypothesen vormen de verzameling $\mathcal{I}_0$.

Een procedure verwerpt een aantal hypothesen. Met $V$ het aantal onterechte en $R$ het totale aantal verwerpingen definiëren we

De family-wise error rate (FWER) is dus de kans op minstens één onterechte ontdekking, en de false discovery rate (FDR) het verwachte aandeel onterechte ontdekkingen. Omdat $V/\max(R,1)$ nooit groter is dan $\mathbf{1}\{V \ge 1\}$, geldt $\mathrm{FDR} \le \mathrm{FWER}$, zodat een procedure die de FWER onder $q$ houdt dat ook met de FDR doet. Het niveau $q$ is meestal 5%.

4.2Bonferroni en Holm: de kans op één vergissing¶

Een onderzoeker die elk signaal op niveau $q/M$ toetst, houdt de kans op zelfs één onterechte ontdekking onder $q$, hoe de signalen ook samenhangen. De kans dat minstens één van de ware nulhypothesen wordt verworpen, is namelijk nooit groter dan de som van de afzonderlijke kansen. Holm merkte op dat die som alleen over de ware nulhypothesen hoeft te lopen. Zolang na $j - 1$ verwerpingen nog geen ware nulhypothese is verworpen, zijn er hoogstens $M - j + 1$ ware nulhypothesen over, zodat de grens bij elke volgende rang ruimer mag worden.

Voor Bonferroni is het bewijs één regel, namelijk $\Pr(V \ge 1) \le \sum_{i\in\mathcal{I}_0} \Pr(p_i \le q/M) \le q M_0/M$. Voor Holm volstaat het naar de kleinste p-waarde onder de ware nulhypothesen te kijken.

4.3Benjamini-Hochberg-Yekutieli: het aandeel vergissingen onder afhankelijkheid¶

Benjamini en Hochberg beperken het aandeel onterechte ontdekkingen tot $q$ door de p-waarden stapsgewijs met $qj/M$ te vergelijken. Het bewijs in De industrie als financier: indexfondsen, DFA, AQR (Theorem 2) gebruikte echter onafhankelijke p-waarden. Twintig varianten van value worden echter tegelijk significant of niet, en zo’n klont nulsignalen kan de stapsgewijze procedure over een grens duwen. Benjamini en Yekutieli lieten zien dat het ergste geval te beheersen is door $q$ te delen door een logaritmische factor.

Het bewijs neemt één ware nulhypothese $i$ en BH op niveau $q$, en schrijft $1/R$ als de telescopische som $\sum_{k=R}^{M-1}\big(1/k - 1/(k+1)\big) + 1/M$. Omdat $p_i \le qR/M$ ook $p_i \le qk/M$ geeft voor elke $k \ge R$, is de verwachte bijdrage van $i$ hoogstens $\sum_k \big(1/k - 1/(k+1)\big)\,qk/M + q/M = q\,c(M)/M$. Die grens hangt niet meer van $R$ af, en daarmee ook niet van de afhankelijkheid tussen de p-waarden. Opgeteld over de $M_0$ ware nulhypothesen en met $q' = q/c(M)$ geeft dat de stelling.

Die robuustheid heeft een hoge prijs. Bij $M = 316$ is $c(M) = 6{,}33$, zodat BHY bij een niveau van 5% in feite met ongeveer 0,8% werkt. Harvey, Liu en Zhu catalogiseerden 316 factoren en berekenden voor elk jaar sinds 1967 welke drempel de procedures zouden hebben opgelegd. In hun figuur 3 stijgt de Bonferroni-drempel van 1,96 naar 3,78 in 2012, terwijl BHY bij 5% op 2,78 uitkomt. Hun vuistregel van ongeveer 2,8 ronden ze in de samenvatting af tot een $t$-waarde boven 3 Harvey et al. (2016). Omdat ongepubliceerde toetsen in hun telling ontbreken, zijn die drempels ondergrenzen.

4.4Publicatieselectie: hoeveel een gepubliceerde $t$ is opgeblazen¶

Een tijdschrift ziet niet alle $t$-waarden maar alleen de waarden boven twee. Een gepubliceerde $t$ is daarom een trekking uit een afgeknotte verdeling, en het gemiddelde van die afgeknotte verdeling ligt boven het ware gemiddelde. Het verschil is de meetfout die de selectie heeft binnengehaald, en omdat die meetfout buiten de steekproef niet terugkomt, daalt het rendement na publicatie.

De verwachte gepubliceerde $t$ is dus de ware $t$ plus een opslag $\lambda(c-\delta)$, en die opslag is groot als het signaal zwak is. Voor $c = 2$ geeft een normale tabel $\varphi(2) = 0{,}0540$ en $1 - \Phi(2) = 0{,}0228$, zodat een gepubliceerde nulfactor gemiddeld $t = 2{,}37$ heeft en buiten de steekproef 100% van zijn rendement verliest. Voor echte signalen daalt $D$ snel, naar 28,5% bij $\delta = 2$ en 1,4% bij $\delta = 4$. Een toevalstreffer verliest dus alles en een sterk signaal bijna niets, zoals we bij de intuïtie al vermoedden. Een daling van een kwart past bij $\delta$ rond twee, wat de tweede oefening narekent.

De nulsignalen B tot en met E uit het toy-voorbeeld laten die opslag zien. Hun gemiddelde $t$ van $(2{,}79 + 2{,}70 + 2{,}45 + 2{,}20)/4 = 2{,}54$ ligt dicht bij $\lambda(2) = 2{,}37$, terwijl hun ware $\delta$ nul is en hun $t$ na publicatie dus rond nul hoort te liggen.

4.5De decompositie van McLean en Pontiff¶

Selectie werkt op de steekproef en arbitrage op de kalender. Een model met die twee elementen voorspelt drie niveaus van het gemiddelde rendement, en de verschillen daartussen meten de twee oorzaken apart.

Het ware gemiddelde rendement van signaal $i$ is $\alpha_i$ tot publicatie en $(1 - a)\,\alpha_i$ daarna, met $a$ het deel dat door handel op het artikel verdwijnt. Met Theorem 3 is dan

Van de steekproef naar de tussenperiode verdwijnt dus alleen de selectieopslag, en van de tussenperiode naar na publicatie alleen het deel $a$. McLean en Pontiff schatten die verschillen met één gepoolde regressie op twee dummies en een vast effect per signaal,

waarin $\mathrm{TUS}$ één is in de tussenperiode en $\mathrm{NA}$ na publicatie. Gedeeld door het gemiddelde rendement in de steekproef meet $-\beta_1$ het aandeel statistische bias en $-(\beta_2 - \beta_1)$ het aandeel arbitrage. Volgens McLean en Pontiff lag het rendement in de tussenperiode 26% lager en na publicatie 58%, zodat 32% toe te schrijven is aan handel op het artikel McLean & Pontiff (2016). De 26% noemen ze een bovengrens voor datamining, omdat werkdocumenten al vóór publicatie circuleren en de tussenperiode dus ook arbitrage bevat.

4.6Bayesiaanse shrinkage van gemeten rendementen¶

Een geschatte premie is de som van een echte premie en een meetfout. Hoe groter de meetfout ten opzichte van de spreiding in echte premies, hoe meer van een extreme schatting meetfout is en hoe harder we haar terugtrekken. Die spreiding volgt uit de factor zoo zelf, want de variantie van de schattingen is die van de premies plus die van de meetfouten.

De krimpfactor $B_i$ ligt tussen nul en één. Hij stijgt met de spreiding $\tau$ van echte premies, omdat een extreme schatting dan vaker een extreme premie is. Hij daalt met de standaardfout $s_i$, omdat een ruisige schatting minder zegt. Neem een artikel dat een rendement van $\hat\alpha = 1\%$ per maand rapporteert met $t = 2{,}5$, dus met standaardfout $s = 0{,}4\%$. Zijn de premies van alle geprobeerde signalen verdeeld met $\mu = 0$ en $\tau = 0{,}4\%$, dan geldt

Het verwachte rendement na publicatie is de helft van het gepubliceerde, en de kans dat de premie positief is, is $\Phi(0{,}5/0{,}283) = 0{,}961$. Het signaal is dus waarschijnlijk echt, maar half zo sterk. Met $\tau = 0{,}2\%$ wordt de krimpfactor $0{,}04/(0{,}04 + 0{,}16) = 0{,}2$, zodat er 0,2% overblijft. De code rekent beide gevallen na.

De tabel bevestigt de handberekening, en ze laat zien dat het antwoord afhangt van wat de rest van de factor zoo over $\tau$ zegt. In de berekening komt de publicatieselectie niet voor, en het volgende gevolg zegt waarom dat mag.

De winner’s curse verdwijnt dus niet, maar hij zit in de krimpfactor, mits de prior de verdeling van alle geprobeerde signalen beschrijft. Een prior die alleen uit gepubliceerde signalen is geschat, is zelf geselecteerd en daardoor te optimistisch. Harvey, Liu en Zhu antwoorden op de factor zoo frequentistisch, met een hogere drempel, en Jensen, Kelly en Pedersen Bayesiaans, met een prior. Empirical Bayes schat de prior uit de data zelf, met het laatste deel van de stelling, $\hat\tau^2 = \max\big(0, \tfrac1M\sum_i(\hat\alpha_i - \hat\mu)^2 - \tfrac1M\sum_i s_i^2\big)$. Bij Jensen et al. (2023) delen factoren binnen elk van hun 13 thema’s een themagemiddelde, dat zelf naar nul wordt getrokken. Meer factoren per thema maken dat gemiddelde preciezer, zodat een grote factor zoo het bewijs voor afzonderlijke factoren juist kan versterken.

4.7FF5 en q-factoren als keuzes voor de stochastische discontofactor¶

Als driehonderd signalen maar een handvol onafhankelijke bronnen van verwacht rendement hebben, moet een klein aantal factoren de rest verklaren. Twee groepen zochten ze in de boekhouding, de een via de waardering en de ander via de investeringsbeslissing, en kwamen ongeveer bij dezelfde factoren uit. Vanaf hier zijn $V_t$, $B_t$ en $R_{t+1}$ marktwaarde, boekwaarde en bruto rendement, en niet de tellingen $V$ en $R$ of de krimpfactor $B_i$ van hierboven.

Fama & French (2015) herschreven het dividendkortingsmodel uit Williams en het dividend discount model met clean surplus (het dividend is de winst $Y$ min de groei $dB$ van het eigen vermogen) en deelden door de boekwaarde $B_t$. Met $k$ de interne discontovoet geldt

Houden we de rest vast, dan gaan een lagere $V_t/B_t$ en een hogere verwachte winst samen met een hogere $k$. Een hogere groei van het eigen vermogen gaat samen met een lagere $k$. Dat zijn value, winstgevendheid en investeringen. Zo kwamen naast markt, SMB en HML de factoren RMW (robust minus weak, winstgevendheid) en CMA (conservative minus aggressive, investeringen) in het model. Ze zijn gebouwd zoals SMB en HML in (2), en Novy-Marx (2013) had de winstgevendheidsfactor al voorbereid. Hou et al. (2015) redeneerden vanuit de investeringsbeslissing, wat een tweeperiodemodel zichtbaar maakt.

Bij gegeven risico $\Cov_t(m_{t+1}, R_{t+1})$ daalt het verwachte rendement dus met de investeringsgraad en stijgt het met de verwachte winstgevendheid. Een onderneming met lage kapitaalkosten investeert veel, en een die een hoge winst verwacht maar weinig investeert, moet hoge kapitaalkosten hebben. Het q-model heeft daarom vier factoren: markt, size, investeringen (I/A) en winstgevendheid (ROE). Beide modellen zijn keuzes voor de stochastische discontofactor $m = 1 - \mathbf{b}'(\mathbf{f} - \E\mathbf{f})$, lineair in een paar factorrendementen $\mathbf{f}$ zoals in Cochrane: p = E[mx]. Ze verklaren een anomalie alleen in de zin dat de alpha ten opzichte van die $m$ klein is. Of RMW en CMA risico meten of een vergissing, zegt (8) niet, want de identiteit geldt voor elke discontovoet.

Of een nieuwe factor $g$ iets toevoegt, is een vraag over zijn gewicht $b_g$ in $m$ gegeven de andere factoren (Proposition 1). Zo zeggen Fama en French dat HML in hun steekproef overbodig wordt, dus dat $b_{\mathrm{HML}}$ nul is. Met een dubbele LASSO voor de controlefactoren vinden Feng et al. (2020) de meeste nieuwe factoren overbodig, op enkele na. Volgens Novy-Marx & Velikov (2016) blijven na transactiekosten vooral strategieën met weinig omzet over. Intussen verpakten fondsen value, momentum en kwaliteit als smart beta (regelgebaseerde portefeuilles die naar factoren kantelen). Eind 2019 bezaten indexfondsen iets meer van de Amerikaanse beurs dan actieve aandelenfondsen Investment Company Institute (2020). Is de daling na publicatie arbitrage, dan holt elke dollar in zulke fondsen de premie verder uit.

5Simulatie: een vakgebied zonder anomalieën¶

Hoeveel verliest een gepubliceerd signaal na publicatie als er alleen selectie werkt en niemand arbitreert? We simuleren 300 onderzoekers die elk 20 signalen toetsen op een markt waarin geen enkel signaal een premie heeft. Elk signaal is een long-short-portefeuille met een volatiliteit van 3% per maand, gemeten over 20 jaar. Alleen signalen met $t > 2$ worden gepubliceerd, en daarna volgen 5 jaar tussenperiode en 20 jaar na publicatie. De cel simuleert maandrendementen en vat per periode de gepubliceerde signalen samen.

Van de 6000 nulsignalen worden er 142 gepubliceerd, tegen 137 verwacht. Hun gemiddelde $t$ van 2,33 ligt dicht bij de 2,37 uit (2), en het kleine verschil komt van de geschatte standaardfout en de beperkte steekproef van 142 signalen. In de steekproef verdienen de gepubliceerde signalen 0,44% per maand, maar in de tussenperiode en na publicatie liggen hun gemiddelden binnen twee standaardfouten van nul. Ze verliezen dus hun hele rendement, zonder dat iemand iets heeft gearbitreerd, net als de nulsignalen B tot en met E in het toy-voorbeeld.

Signalen met een echte premie verliezen minder. Omdat alleen de schatting telt, trekken we voor elke ware sterkte $\delta$ de $t$-waarden in en buiten de steekproef direct uit $\mathcal{N}(\delta, 1)$ en vergelijken we de gesimuleerde daling met (3).

Simulatie en formule verschillen nergens meer dan een half procentpunt. Bij een ware verwachte $t$ van 2,10 hoort een daling van 26%. Links in de figuur is de vraag of het histogram de afgeknotte kromme volgt, rechts waar de lijnen van 26% en 58% de formule snijden.

Selectie verklaart de daling in de tussenperiode dus alleen bij zwakke signalen. Hoe sterk de echte signalen zijn, moet de replicatie laten zien.

6Replicatie op echte data¶

6.1De verzwakking na publicatie¶

De eerste vraag is of de volgorde van McLean en Pontiff terugkomt. De cel koppelt elke signaalmaand aan een periode en berekent per periode het gemiddelde rendement over de signalen.

De volgorde komt terug. Gemiddeld over alle signalen verdient een long-short-portefeuille in de steekproef 0,69% per maand, in de tussenperiode 40% minder en na publicatie 57% minder, maar nog steeds duidelijk meer dan nul.

Een enkel signaal is nauwelijks te volgen, want over een tussenperiode van gemiddeld 55 maanden is zijn standaardfout 0,48% per maand, groter dan het rendement zelf. Pas het gemiddelde over alle signalen maakt de daling meetbaar. De volgende cel schat (5) met vaste effecten per signaal en standaardfouten die per maand geclusterd zijn.

Volgens de regressie ligt het rendement in de tussenperiode 36% en na publicatie 54% onder het gemiddelde in de steekproef, beide ruim significant, zodat het publicatie-effect 18% is. Omdat de regressie signalen naar hun aantal maanden weegt, wijkt ze iets af van de gewone gemiddelden. De daling na publicatie is vergelijkbaar met die van McLean en Pontiff, maar bij ons ligt meer ervan al vóór publicatie.

6.2De verdeling van $t$-waarden en de drempels van Harvey, Liu en Zhu¶

Hoeveel signalen halen de strengere drempels? De cel past de zes procedures uit het toy-voorbeeld toe op onze $t$-waarden in de steekproef en na publicatie, en vergelijkt die met de $t$-waarden in de artikelen.

In de steekproef halen 186 van de 212 signalen $|t| > 1{,}96$, dus 88%. Voor de 188 signalen met een gerapporteerde $t$ is de rangcorrelatie met onze $t$ 0,62, zodat de replicatie in de oorspronkelijke constructie grotendeels werkt. De 65% mislukkingen van Hou, Xue en Zhang zijn daarmee niet in tegenspraak, omdat zij naar marktwaarde wogen met NYSE-breekpunten. De drempels van Harvey, Liu en Zhu schrappen wel een flink deel. Bij $t > 3$ vallen 64 van de 186 significante signalen af, en Bonferroni, met $|t| > 3{,}68$ bij $M = 212$, houdt er 85 over. In de figuur is links te zien hoe de verdeling langs de drempels verschuift. Rechts gaat het om de helling van de puntenwolk, die onder één ligt als sterke signalen meer verliezen.

Na publicatie halen nog 66 van de 212 signalen $|t| > 1{,}96$ en 11 de Bonferroni-drempel. Die daling komt deels doordat de periode na publicatie korter is dan de steekproef, zodat dezelfde premie een kleinere $t$ geeft.

6.3Shrinkage: hoeveel van de daling is statistiek?¶

Shrinkage voorspelt hooguit 7 tot 9% van de daling in de tussenperiode, tegen 40% waargenomen, zoals de twee schattingen hieronder laten zien. De eerste trekt de gemiddelden in de steekproef terug met een prior gecentreerd op nul, zoals bij Jensen, Kelly en Pedersen. Een willekeurig signaal levert dan gemiddeld niets op, en de factor zoo bepaalt hoe breed de premies verdeeld zijn.

De geschatte spreiding van premies is $\hat\tau = 0{,}80\%$ per maand, tegen een gemiddelde standaardfout van 0,19%. De krimpfactor is daardoor gemiddeld 0,94, en het gemiddelde rendement over alle signalen krimpt met 9%. Van de 186 significante signalen blijven er 181 over. Deze prior is echter op gepubliceerde signalen geschat en daardoor te optimistisch (Corollary 1). Een tweede schatting neemt de selectie expliciet mee. Stel dat de ware verwachte $t$-waarden verdeeld zijn als $\delta_i \sim \mathcal{N}(\mu_\delta, \omega^2)$ en dat alleen $t_i > 1{,}96$ werd gepubliceerd. Omdat $t_i = \delta_i + z_i$ met onafhankelijke standaardnormale ruis $z_i$, is de gerapporteerde $t_i$ dan afgeknot normaal met variantie $1 + \omega^2$. Zo kunnen we $(\mu_\delta, \omega)$ met maximale aannemelijkheid schatten, en Theorem 4 geeft de verwachte $\delta_i$.

De 183 gerapporteerde $t$-waarden boven 1,96 liggen gemiddeld op 4,69, en de geschatte verdeling van ware $t$-waarden heeft $\hat\mu_\delta = -7{,}4$ en $\hat\omega = 6{,}1$. Een willekeurig geprobeerd signaal zou daarmee met kans $\Phi(7{,}4/6{,}1) \approx 0{,}89$ een negatieve premie hebben. Dat is ongeloofwaardig, want onderzoekers kiezen het teken zelf en zouden zo’n signaal omdraaien. Deze uitkomst laat vooral zien hoe weinig een afgeknotte steekproef over de ligging van de verdeling zegt. Voor de posterior telt het gewicht $\hat\omega^2/(1 + \hat\omega^2) = 0{,}97$, zodat de verwachte ware $t$ gemiddeld 4,37 is en selectie een daling van 7% voorspelt. Bij gelijke standaardfout daalt het gemiddelde rendement relatief even veel als $t$, zodat die 7% met de waargenomen dalingen te vergelijken is.

Beide benaderingen blijven dus ver onder de 40%, terwijl de intuïtie die daling juist aan statistiek toeschreef. Volgens de simulatie vereist al de 26% van McLean en Pontiff ware $t$-waarden rond 2,1, en de 40% hier nog zwakkere, maar de echte signalen zijn veel sterker. Er blijven drie verklaringen over.

• De gerapporteerde $t$-waarden zijn sterker opgeblazen dan afknotting beschrijft, omdat onderzoekers ook varianten probeerden die ze nooit publiceerden.

• De tussenperiode bevat al arbitrage op werkdocumenten.

• Anomalierendementen dalen in het algemeen door de tijd, wat de derde oefening onderzoekt.

6.4Alpha’s ten opzichte van FF5 plus momentum¶

Als een handvol factoren de factor zoo samenvat, moeten de alpha’s van de signalen ten opzichte van FF5 plus momentum klein zijn, ook na publicatie. De cel regresseert elk signaal op FF5 plus momentum, over 1963–2024 en alleen na publicatie, en telt de significante alpha’s per procedure.

Over 1963–2024 hebben 167 van de 212 signalen een significante alpha, bijna allemaal positief, met een gemiddelde van 0,42% per maand. Na correctie blijft bij Bonferroni minder dan de helft over, maar bij BHY en BH houdt een meerderheid een significante alpha, anders dan we vooraf verwachtten. Daarvoor zijn drie redenen.

• De periode 1963–2024 bevat de jaren in de steekproef waarop de signalen zijn geselecteerd.

• Veel portefeuilles zijn gelijkgewogen en leunen op kleine aandelen, die de waardegewogen factoren slecht bereiken.

• B/M, winstgevendheid en momentum zitten zelf in de factor zoo.

Na publicatie blijft bij elke correctie een minderheid over, van 10 bij Bonferroni tot 62 bij BH, tegen 90 zonder correctie. De gemiddelde alpha na publicatie is met 0,30% per maand gelijk aan het ruwe rendement, zodat de zes factoren niet verklaren wat er na publicatie over is.

6.5Oordeel¶

De tabel zet de gepubliceerde getallen naast de onze. De daling na publicatie komt bijna precies terug, maar bij ons valt meer ervan in de tussenperiode en mislukken veel minder signalen dan bij Hou, Xue en Zhang.

De replicatie is gedeeltelijk geslaagd. De volgorde van hoog naar laag komt terug, met een positief rendement na publicatie, maar het publicatie-effect is kleiner. Over de hele periode houdt bij BH en BHY een meerderheid een significante alpha. Pas na publicatie krimpt het aantal signalen met een alpha tot de verwachte minderheid.

7Wat er brak, en wat daarna kwam¶

Wat het kader verklaart. Na meervoudig toetsen, publicatieselectie en shrinkage hangt het antwoord op de vraag of een signaal significant is af van het aantal pogingen. Dat antwoord is streng maar niet vernietigend, want 88% van de 212 signalen haalt in de oorspronkelijke constructie $|t| > 1{,}96$ en BHY houdt er 137 over. De replicatiecrisis is dus grotendeels een verschil in weging en drempels, zoals Chen en Zimmermann en Jensen, Kelly en Pedersen betoogden. Vijf of zes factoren uit de boekhouding van de onderneming verklaren daarnaast een deel van de cross-sectie, al houden de meeste signalen tegen die factoren een alpha.

Waar het breekt. Het kader breekt bij de verzwakking. In onze replicatie ligt het rendement na publicatie 57% onder dat in de steekproef, en halen nog 11 van de 212 signalen de Bonferroni-drempel. Beide shrinkage-benaderingen schrijven hoogstens 7 tot 9 van die 57 procentpunten aan publicatieselectie toe, en de zes factoren verklaren het rendement na publicatie niet. Het kader zegt hoeveel we moeten wantrouwen, maar niet waarom de premies kleiner worden.

Risico of vergissing? McLean en Pontiff concludeerden zelf dat beleggers uit wetenschappelijke publicaties over mispricing leren McLean & Pontiff (2016). Dat is de Yale-lezing, maar even goed past de Chicago-lezing, waarin kenmerken blootstelling aan risico meten. Zodra meer kapitaal via factorfondsen dat risico wil dragen, daalt de prijs ervan, zodat een lagere premie betere risicodeling betekent. De derde lezing is datamining, waarin er nooit iets was. Een daling die precies op de publicatiedatum valt, zou de lezingen kunnen scheiden. In onze data is die echter niet te onderscheiden van een algemene daling door de tijd, die zelf arbitrage of risicodeling kan zijn. Een belegger die in 2015 een factorfonds kocht, betaalde dus voor risico of voor een vermeend inzicht, en de data zeggen niet waarvoor. Santa-Clara vat het samen in het motto uit Opzet, data en conventies.

Everything I made that lasted came from bearing risk that was priced. Everything I lost came from thinking I knew something the price did not. Santa-Clara (2026)

Wat er daarna kwam. Bevatten honderden ruisige signalen elk wat informatie, dan ligt het voor de hand ze door een machine te laten combineren, zoals in Machine learning in de cross-sectie.

8Oefeningen¶

extra_nulls = pd.Series(np.linspace(-0.9, 0.9, 10), index=[f"N{k}" for k in range(1, 11)])
t_twenty = pd.concat([t_toy, extra_nulls])
twenty_tests = multiple_testing(t_twenty).set_index(t_twenty.index)
found_twenty = {col: "".join(twenty_tests.index[twenty_tests[col]]) for col in twenty_tests}
print(f"Bonferroni-drempel bij M = 20: |t| > {stats.norm.isf(0.025 / 20):.3f}")
pd.DataFrame({"M = 10": discoveries, "M = 20": found_twenty}).rename_axis("procedure")

Bonferroni-drempel bij M = 20: |t| > 3.023

delta_58 = optimize.brentq(lambda d: decline_formula(d) - 0.58, 0.01, 5.0)
print(f"daling 26%: delta = {delta_26:.3f};  daling 58%: delta = {delta_58:.3f}")
print(f"daling bij delta = 4: {decline_formula(4.0):.3%};  lambda(x) > x op [-3, 3]: "
      f"{np.all(inverse_mills(np.linspace(-3, 3, 61)) > np.linspace(-3, 3, 61))}")

daling 26%: delta = 2.097;  daling 58%: delta = 1.066
daling bij delta = 4: 1.362%;  lambda(x) > x op [-3, 3]: True

five_year = pd.get_dummies((long["date"].dt.year // 5) * 5, prefix="periode", dtype=float)
with_time = mp_regression(long, extra=five_year.iloc[:, 1:]).loc[["oos", "post"]]
with_time.assign(**{"t.o.v. gem. steekproef": with_time["coef (% p.m.)"] / in_sample_mean}).rename(
    index=PERIOD_NAMES).round(3)

p_378 = 2 * stats.norm.sf(3.78)
print(f"tweezijdige p bij t = 3.78: {p_378:.2e}; impliciete M = 0.05 / p = {0.05 / p_378:.0f}")
print(f"jaren voor t = 1.96, 3.00, 3.78: {[round((t / 0.5)**2, 1) for t in (1.96, 3.0, 3.78)]}")

tweezijdige p bij t = 3.78: 1.57e-04; impliciete M = 0.05 / p = 319
jaren voor t = 1.96, 3.00, 3.78: [15.4, 36.0, 57.2]