continuous optimization

continuous optimization (tsz. continuous optimizations)

1. (informatika) Continuous optimization (folytonos optimalizálás) az optimalizálás azon területe, amelyben a változók a valós számok halmazán mozognak (ellentétben a diszkrét optimalizálással, ahol az értékek pl. egész számok). A cél egy valós értékű függvény minimalizálása vagy maximalizálása folytonos paraméterek mellett.

Ez a terület kulcsfontosságú az alkalmazott matematikában, gépi tanulásban, műveleti kutatásban, mérnöki és gazdasági modellezésben.

Legyen adott egy célfüggvény:

$${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$$

Cél:

• Minimumkeresés:

  $${\displaystyle \min _{\mathbf {x} \in {\mathcal {D}}}f(\mathbf {x} )}$$

• Maximumkeresés (ekvivalens: ${\textstyle \max f(x)=-\min(-f(x))}$)

${\textstyle {\mathcal {D}}}$ a megengedett értékek halmaza – lehet korlátos vagy korlátlan, pl. ${\textstyle x_{i}\in }$

• Nincs megszorítás → ${\textstyle {\mathcal {D}}=\mathbb {R} ^{n}}$
• Gyakori a gépi tanulásban (pl. veszteségfüggvények optimalizálása)

• Egyenlőtlenségi vagy egyenlőségi korlátok:

$${\displaystyle {\begin{cases}\min f(x)\\{\text{alatt: }}g_{i}(x)\leq 0\quad (i=1..m)\\{\phantom {\text{alatt: }}}h_{j}(x)=0\quad (j=1..k)\end{cases}}}$$

Függvénytípus	Tulajdonság
Lineáris	${\textstyle f(x)=c^{T}x}$
Kvadratikus	${\textstyle f(x)=x^{T}Qx+c^{T}x+r}$
Nemlineáris	pl. ${\textstyle \sin(x),\log(x),e^{x}}$
Konvex	Egyetlen globális minimum
Nemkonvex	Több lokális minimum → nehéz

• Deriválás:

  $${\displaystyle \nabla f(x)=0}$$

• Második derivált (Hess-mátrix) → lokális minimum / maximum

• Gradient Descent (grádiensmódszer)
• Newton-módszer
• Quasi-Newton (pl. BFGS)
• Conjugate Gradient

• Karush-Kuhn-Tucker (KKT) feltételek
• Lagrange-multiplikátorok
• Interior Point Method
• Penalty/barrier módszerek

• Random search
• Simulated annealing
• Differential Evolution
• Genetikus algoritmusok
• Bayesian optimization

import numpy as np

def gradient_descent(f, grad_f, x0, lr=0.01, tol=1e-6, max_iter=1000):
    x = x0
    for _ in range(max_iter):
        grad = grad_f(x)
        x_new = x - lr * grad
        if np.linalg.norm(x_new - x) < tol:
            break
        x = x_new
    return x

# példa: f(x) = (x-2)^2
f = lambda x: (x - 2)**2
grad_f = lambda x: 2*(x - 2)

min_x = gradient_descent(f, grad_f, x0=np.array())
print("Minimum:", min_x)

• Konvex függvény: Minden lokális minimum globális minimum is → algoritmus garantáltan jó eredményt ad.
• Nemkonvex függvény: Lehetnek csapdák (lokális minimumok) → speciális technikák kellenek.

• continuous optimization - Szótár.net (en-hu)
• continuous optimization - Sztaki (en-hu)
• continuous optimization - Merriam–Webster
• continuous optimization - Cambridge
• continuous optimization - WordNet
• continuous optimization - Яндекс (en-ru)
• continuous optimization - Google (en-hu)
• continuous optimization - Wikidata
• continuous optimization - Wikipédia (angol)