Reinforcement Learning für dynamische Vermögensoptimierung und Asset-Liability-Management

Detaillierter Bericht

Einführung in die Lebenszyklus-Portfolio-Optimierung

Die Kapitalallokation über den menschlichen Lebenszyklus hinweg stellt ein fundamentales Problem der quantitativen Ökonomie dar, das ursprünglich 1969 von Robert Merton formalisiert wurde. In seiner reinsten Form versucht das sog. “Merton-Portfolio-Problem”, die mathematische Strategie zu finden, mit der ein individueller oder institutioneller Asset Manager Vermögen kontinuierlich auf ein risikoreiches und ein risikofreies Asset aufteilt, um den erwarteten lebenslangen Nutzen (Utility) zu maximieren.

Zwischen lehrbuchartigen ökonomischen Abstraktionen und der empirischen Realität gibe es allerdings tiefe Lücken. Traditionelle Modelle setzen glatte, kontinuierliche Übergänge voraus. Das reale Leben ist jedoch von Diskontinuitäten geprägt. Für einen institutionellen Pensionsfonds oder einen privaten Investor werden Vermögenspfade ständig durch nicht-lineare Schocks unterbrochen oder verbessert. So haben abrupte Gesundheitsschocks, berufliche Beförderungen oder der Wunsch nach Kindern einen direkten Einfluss auf das Vermoeegen einer Person.

Sobald diese pfadabhängigen Lebensentscheidungen und langlaufenden Verbindlichkeiten eingeführt werden, versagen klassische geschlossene (analytische) Lösungen. Die Lösung dieser Systeme mittels traditioneller numerischer Methoden erfordert eine immense Rechenarchitektur, die massive, mehrstufige Monte-Carlo-Simulationen an jedem diskreten Altersknoten ausführt und die Berechnungen rückwärts vom Tod bis zur Jugend propagiert. Unser Proof of Concept untersucht, wie Deep Reinforcement Learning hierfür eine flexible und skalierbare Alternative bietet.

Das klassische Merton-Problem

Um die Grenzen traditioneller Lösungen zu verstehen, beginnen wir mit dem Framework der stochastischen Steuerung in kontinuierlicher Zeit. Sei $X_t$ das Gesamtvermögen des Agenten zum Zeitpunkt $t$. Die Vermögensdynamik wird durch eine stochastische Differentialgleichung (SDE) beschrieben:

Wobei:

• $r_t$: Der risikofreie Zinssatz.
• ${\mu }_t$: Die erwartete Rendite des risikoreichen Assets.
• ${\sigma }_t$: Die Volatilität des risikoreichen Assets.
• ${\pi }_t$: Das absolute Kapital, das zum Zeitpunkt $t$ im risikoreichen Asset allokiert ist.
• $c_t$: Die Konsumrate.
• $d{B}_t$: Eine Standard-Brownsche Bewegung, die die Marktunsicherheit abbildet.

Das Ziel besteht darin, den erwarteten diskontierten Nutzen des Konsums über einen endlichen Horizont $T$ (der die Lebensspanne darstellt) plus den Endnutzen des Vermögens (die Bequest- oder Erbschaftsfunktion) zu maximieren:

Wobei $\rho$ den subjektiven Diskontierungsfaktor (die Zeitpräferenzrate) darstellt.

Nutzenfunktionen & Risikoaversion

Die Verhaltenseigenschaften des Investors werden durch seine Nutzenfunktion $U(c)$ bestimmt. In unserer explorativen Pipeline haben wir die Umgebung so strukturiert, dass sie die zwei prominentesten Risikoprofile der mathematischen Finanzwissenschaft unterstützt:

1. Constant Relative Risk Aversion (CRRA): Setzt voraus, dass die Risikotoleranz des Investors proportional mit dem Vermögen wächst.

Wobei $\gamma >0$ ($\gamma \ne 1$) der Koeffizient der relativen Risikoaversion ist.

2. Constant Absolute Risk Aversion (CARA): Setzt voraus, dass die Risikotoleranz unabhängig von der absoluten Vermögensakkumulation bleibt.

Wobei $\alpha >0$ den Koeffizienten der absoluten Risikoaversion darstellt.

Der Fluch der Dimensionen

Unter einer einfachen Asset-Struktur ohne zusätzliches Arbeitseinkommen kann die Wertefunktion analytisch durch Lösen der partiellen Hamilton-Jacobi-Bellman-Differentialgleichung (HJB) abgeleitet werden. In dem Moment, in dem wir jedoch reale Markt- und Lebensfektionen einführen, bricht die analytische Lösbarkeit vollständig zusammen. Der traditionelle Ablauf der dynamischen Programmierung stellt sich wie folgt dar:

Tod (Alter 85) ---> Alter 84 ---> Alter 83 ... ---> Jugend (Alter 25)
|      |               |             |
+--- (Monte-Carlo-Simulation an jedem diskreten Zustandsgitter-Knoten)

• Pfadabhängigkeit: Parameter wie eine Beförderung oder eine chronische Krankheit verschieben den zugrunde liegenden Einkommenstrend des Agenten dauerhaft. Dies erfordert das Hinzufügen zusätzlicher Zustandsdimensionen, um die Historie mitzuverfolgen.
• Gitter-Explosion (Grid Explosion): Wenn wir das Problem in Gitter diskretisieren, um eine rückwärtige Induktion der dynamischen Programmierung durchzuführen, führt das Hinzufügen von Zustandsvariablen zu einer exponentiellen Explosion der Knotenanzahl. Erfordert das Vermögen beispielsweise $100$ Gitterpunkte, skaliert das Hinzufügen von nur 4 binären Lebensparametern (z. B. Kinderstatus, Gesundheitszustand, Beförderungsstufe, Erbschaftstracking) die Knoten-Evaluierungen pro Altersschritt auf $100\times 2^4=1.600$ Knoten.
• Verschachtelte Monte-Carlo-Schleifen: Da Erwartungswerte über nicht-lineare Schocks hinweg nicht analytisch berechnet werden können, erfordert jeder einzelne Knoten in diesem Gitter eine verschachtelte Monte-Carlo-Simulation, um die Übergangswahrscheinlichkeiten zum nächsten Altersschritt zu bestimmen.

Diese rechnerische Barriere war der Auslöser für unsere Forschung im Bereich des modellfreien Deep Reinforcement Learning (TD3), welches die gitterbasierte Diskretisierung vollständig umgeht, indem es die Lebensspannen als kontinuierliche Pfade behandelt.

Deep Reinforcement Learning Framework (TD3)

Um die hochdimensionalen, pfadabhängigen Eigenschaften realer Lebenszyklen zu bewältigen, formuliert unser Framework die Asset-Allokation und das Konsumverhalten als modellfreien, kontinuierlichen Markov-Entscheidungsprozess (MDP) um. Anstatt Zustände auf einem starren Gitter zu diskretisieren, interagiert ein Deep-Reinforcement-Learning-Agent (DRL) mit einer kontinuierlichen Simulationsumgebung, beobachtet Übergänge und sammelt Erfahrungen, um seine Strategie nativ zu optimieren.

+-------------------------------------------------------------+
|                         Umgebung (ENVIRONMENT)              |
|   Marktdynamik (SDE)  +  Sozioökonomische Lebensereignisse  |
+-------------------------------------------------------------+
          ^                                         |
          | Portfolio-Allokationen                  | Zustandsvektor
          | & Konsumrate (A_t)                      | (S_t)
          |                                         v
+-------------------------------------------------------------+
|                         TD3 AGENT                           |
|      Actor Netzwerk   =======>   Clipped Twin Critics       |
+-------------------------------------------------------------+

Formulierung des Markov-Entscheidungsprozesses

Die Umgebung wird durch einen Zeithorizont gesteuert, der dem Finanzjahr einer Person entspricht ($t=1,2,\dots ,T$). Bei jedem Schritt wird die Interaktion durch ein Tupel $(S_t,A_t,R_t,S_{t+1})$ parametrisiert:

1. Der Zustandsraum ($S_t\in {\mathbb{R}}^d$): Ein kontinuierlich-kategorialer Vektor, der den Echtzeit-Finanz- und Demografiestatus der Kohorte erfasst:

• $X_t$: Aktuelle Vermögensakkumulation.
• $t$: Aktuelles Alter der Person.
• $I_t$: Dynamisches Arbeitseinkommen oder Renten-Cashflow.
• $E$: Kategoriale Basis der Bildungsausbildung (z. B. High School vs. Universität).
• ${\text{Flags}}_t$: Binäre Statusindikatoren zur Verfolgung aktiver Lebensereignisse (z. B. Vorhandensein von Kindern, aktive Gesundheitsschocks, Beförderungsstatus, Erbschaftstracking).

2. Der Aktionsraum ($A_t\in {\mathbb{R}}^2$): Ein kontinuierlicher Kontrollvektor, der die Entscheidungen des Agenten für diese Periode enthält:

• ${\pi }_t\in [0,1,5]$: Das Allokationsgewicht im risikoreichen Asset (erlaubt bis zu $50\%$ Hebelwirkung/Leverage).
• $c_t\in (0,X_t]$: Die kontinuierliche Konsumrate für die aktive Periode.

3. Die Belohnungsfunktion (Reward Function $R_t$): Der Feedback-Mechanismus, der entwickelt wurde, um den mathematischen Nutzen des Konsums zu maximieren, während finanzielle Insolvenz oder das Verfehlen von Verbindlichkeiten bestraft werden:

Wobei $U(c_t)$ die aktive Nutzenfunktion (CRRA oder CARA) darstellt, $\mathbb{I}$ eine Indikatorfunktion ist, die eine schwere Strafe $\psi$ für den Konkurs auslöst, und $\omega$ eine institutionelle Strafe für nicht gedeckte strukturelle Verbindlichkeiten $L_t$ definiert.

Die Twin Delayed DDPG (TD3) Architektur

Standardalgorithmen für kontinuierliche Aktionsräume wie Deep Deterministic Policy Gradient (DDPG) scheitern in hochvolatilen Finanzumgebungen häufig. DDPG leidet unter einem schweren Optimierungs-Überschätzungstrend (Overestimation Bias), bei dem die Critic-Netzwerke den erwarteten zukünftigen Wert bestimmter Asset-Allokationen systematisch überbewerten. Dies führt zu einer suboptimalen Strategieausrichtung und vorzeitiger Divergenz.

Um ein stabiles Policy-Learning über Horizonte von 30 bis 60 Jahren zu gewährleisten, haben wir eine Twin Delayed DDPG (TD3) Architektur implementiert. TD3 führt drei entscheidende algorithmische Modifikationen ein, um die Approximation der Wertefunktion zu stabilisieren:

1. Clipped Double-Q Learning

Der Agent führt zwei unabhängige Critic-Netzwerke, $Q_{{\varphi }_1}(s,a)$ und $Q_{{\varphi }_2}(s,a)$, zusammen mit ihren entsprechenden Target-Netzwerken. Bei der Berechnung des Zielwerts $y_t$ für das Bellman-Backup-Update wählt die Architektur den minimalen geschätzten Wert zwischen den beiden Critics:

Wobei $\beta$ der stochastische Diskontierungsfaktor ist. Die Wahl des Minimums wirkt dem Overestimation Bias aktiv entgegen, indem sie konservative Vermögenswachstumsschätzungen gegenüber aggressiven, volatilen Prognosen bevorzugt.

2. Target Policy Smoothing

Finanzmärkte sind verrauscht, was bedeutet, dass sehr ähnliche Zustandsvektoren radikal unterschiedliche Belohnungen hervorrufen können. Um zu verhindern, dass sich die Policy auf enge, hochrentable Trainingspfade überanpasst (Overfitting), fügt TD3 der Zielaktion einen kleinen, abgeschnittenen (clipped) Rauschvektor hinzu:

Dies zwingt die Critic-Netzwerke dazu, ihre Werteoberfläche über eine lokalisierte Aktionsumgebung hinweg zu glätten, wodurch sichergestellt wird, dass winzige Verschiebungen der Portfoliogewichte keine erratischen Sprünge im geschätzten zukünftigen Nutzen verursachen.

3. Verzögerte Policy- & Target-Updates (Delayed Updates)

In einem Asset-Allokation-Framework führt das Aktualisieren des Actor-Netzwerks (Policy), bevor die Critic-Netzwerke die Wertelandschaft präzise kartiert haben, zu hochgradig instabilen Trainingsverläufen. TD3 löst dies, indem es das Actor-Netzwerk ${\pi }_{\theta }$ und alle Target-Netzwerke mit einer geringeren Frequenz aktualisiert als die Critics (z. B. ein Policy-Update für jeweils zwei Critic-Parameter-Updates). Diese Verzögerung stellt sicher, dass der Actor stets von stabilen, mathematisch fundierten Wertgradienten geleitet wird.

Um die allgemeine Idee unseres Ziels zu veranschaulichen, finden Sie unten ein stark vereinfachtes, interaktives Diagramm, das die Konvergenz eines Actor-Algorithmus gegen das analytisch gelöste Merton-Portfolio-Lebenszyklusproblem darstellt. In jedem Jahr (der gewählten Zeitperiode) beobachtet der Agent den Markt und trifft eine Entscheidung, um einen Teil des Vermögens in Aktien, Anleihen oder Konsum aufzuteilen. Am Ende der Periode erhält der Agent sein Feedback. Dabei fungiert die Nutzenfunktion als Belohnung (Reward), die der Agent für seine Allokationsentscheidung erhält. Eine fundierte Entscheidung erzeugt einen hohen Nutzen, eine schlechte erzeugt einen geringen (oder negativen). Nach ausreichend vielen Trainings-Epochen konvergiert der Agent gegen die optimale Merton-Lösung und zeigt, dass er in der Lage ist, nutzenmaximierende Allokationsentscheidungen zu treffen.