stochastic optimization

stochastic optimization (tsz. stochastic optimizations)

1. (informatika, mesterséges intelligencia) Stochastic optimization (sztochasztikus optimalizálás) az optimalizálás azon ága, amely bizonytalanságot vagy véletlenszerűséget tartalmaz a célfüggvényben, a korlátokban, vagy az információban. Olyan problémák megoldására szolgál, ahol:

• A célfüggvény vagy korlát valószínűségi változókon múlik,
• vagy a keresési folyamat során véletlen lépések történnek.

Ez a megközelítés kulcsfontosságú olyan valós problémákban, ahol a környezeti tényezők zajosak, vagy a teljes információ nem ismert.

• Gépi tanulás (pl. stochastic gradient descent)
• Pénzügy (pl. portfólióoptimalizálás, kockázatkezelés)
• Logisztika (pl. szállítás bizonytalan kereslet mellett)
• Szimuláció-alapú optimalizálás (pl. gyártási szimulációk)

$${\displaystyle \min _{x\in {\mathcal {X}}}\;\mathbb {E} }$$

ahol:

• ${\textstyle x}$: döntési változók (pl. erőforráselosztás)
• ${\textstyle \xi }$: valószínűségi paraméter (pl. kereslet, időjárás)
• ${\textstyle f(x,\xi )}$: költség vagy veszteségfüggvény, amely függ a véletlen bemenettől
• ${\textstyle \mathbb {E} }$: várható érték

• A cél a várható költség minimalizálása

• A cél, hogy a korlátok valószínűséggel teljesüljenek:

  $${\displaystyle P(g(x,\xi )\leq 0)\geq 1-\alpha }$$

• Döntés először: ${\textstyle x}$

• Aztán megtudjuk ${\textstyle \xi }$-t

• Utána hozunk egy második döntést (pl. korrigálunk):

  $${\displaystyle \min _{x}\;c^{T}x+\mathbb {E} _{\xi }}$$

• A teljes adat helyett mintákon alapul.

• Frissítés:

  $${\displaystyle x_{k+1}=x_{k}-\alpha _{k}\nabla f(x_{k},\xi _{k})}$$

• Fontos pl. neurális hálók tanításánál

• Többször mintát veszünk a véletlen változóból

• A várható értéket átlaggal közelítjük:

  $${\displaystyle \min _{x}\;{\frac {1}{N}}\sum _{i=1}^{N}f(x,\xi _{i})}$$

• A determinisztikus optimum alapján döntünk.

import numpy as np

def stochastic_gradient_descent(f, grad_f, x0, data, alpha=0.01, epochs=100):
    x = x0
    for epoch in range(epochs):
        for xi in data:
            grad = grad_f(x, xi)
            x = x - alpha * grad
    return x

# Példa: f(x) = (x - ξ)^2
data = np.random.normal(3, 1, size=1000)  # ξ ~ N(3,1)
f = lambda x, ξ: (x - ξ)**2
grad_f = lambda x, ξ: 2 * (x - ξ)

min_x = stochastic_gradient_descent(f, grad_f, x0=0.0, data=data)
print("Minimum:", min_x)

• stochastic optimization - Szótár.net (en-hu)
• stochastic optimization - Sztaki (en-hu)
• stochastic optimization - Merriam–Webster
• stochastic optimization - Cambridge
• stochastic optimization - WordNet
• stochastic optimization - Яндекс (en-ru)
• stochastic optimization - Google (en-hu)
• stochastic optimization - Wikidata
• stochastic optimization - Wikipédia (angol)