Convergence and stability analysis of stochastic optimization algorithms

Den här uppsatsen handlar om stokastiska optimerings metoder. Inom områdena Artificiell intelligens och Maskininlärning är det vanligt att man vill skatta parametrar i en statistisk modell för att kunna göra prediktioner. Man använder sig då av en kostnadsfunktion som bestraffar prediktioner som ligger långt ifrån det riktiga värdet och minimerar denna med avseende på de statistiska parametrarna. Ett exempel på detta är artificiella neurala nätverk, som ofta är väldigt komplexa och svåra att minimera effektivt. Vanliga optimeringsmetoder är då inte lämpliga eftersom de är för beräkningsmässigt krävande och man använder sig istället av så kallade stokastiska optimerings metoder, som är mindre kostsamma och snabbare att använda. Även om dessa har visat sig fungera bra för dylika problem, är de ofta känsliga för valet av steglängd. Väljs den för liten tar det en evighet att hitta minimat till kostnadsfunktionen och väljs den för stor kan algoritmen explodera. I den här uppsatsen undersöks olika metoder för att stabilisera stokastiska optimeringsalgoritmer. Mer exakt tittar vi på metoder för att lösa differentialekvationer numeriskt, som har visat sig ha väldigt bra stabilitetsegenskaper och omformulerar dessa som stokastiska optimeringsalgoritmer.