Maximum likelihood

Förstår ej frågan.

Log (a+b+c+d+...) ger sällan något användbart. Det finns ingen logaritmlag som är användbar för summor.

Jag tror också vi behöver mer kontext och mer konkreta exempel.

Det som kanske hänt är att faktorerna i produkten är exp-funktionen, då ”försvinner” logaritmen men också exp-funktionen. Exempelvis om du jobbar med exponential-fördelningen eller normalfördelningen

Hondel skrev:

Jag tror också vi behöver mer kontext och mer konkreta exempel.

 

Det som kanske hänt är att faktorerna i produkten är exp-funktionen, då ”försvinner” logaritmen men också exp-funktionen. Exempelvis om du jobbar med exponential-fördelningen eller normalfördelningen

Det var en uppgift där man omvandlade produkt till summa och jag förstår inte varför. Är det pga log eller något annat? 

Trinity2 skrev:

Förstår ej frågan.

Log (a+b+c+d+...) ger sällan något användbart. Det finns ingen logaritmlag som är användbar för summor.

Ok isåfall ljuger AI för mig. Den försökte övertyga mig över att Log(produkt av likelihood funktion) ger oss en summa av termer.Såhär ska man lösa ML skattning men mitt problem är de dubbel streck i1=1 till i=n kan utgöra en summa som i uppgiften nedan? Nu löste jag uppgiften precis som en  assistent i skolan gjorde utan att begripa varför man omvandlar produkt till summan för x_i. Titta på där jag markerade med lila färg.

Det här är galet

Om vi leker med att theta=2 och n=2 har vi

x_1x_2 = x_1+x_2

Det är inte generellt sant.

däremot är LOG(PROD...) = SUM(LOG...)

Uppg är Gunnar Blom och lösningen är

Trinity2 skrev:

Det här är galet

Om vi leker med att theta=2 och n=2 har vi

x_1x_2 = x_1+x_2

Det är inte generellt sant.

däremot är LOG(PROD...) = SUM(LOG...)

Ok. Men varför är log(prod)=sum(log) sant? Jag antar att du stör dig på att jag delat upp produkten av  theta och sen produkten av x_i. Men varför?

Trinity2 skrev:

Uppg är Gunnar Blom och lösningen är

Jag och facit gjorde väl typ likadant. 

destiny99 skrev:

Trinity2 skrev:

Det här är galet

Om vi leker med att theta=2 och n=2 har vi

x_1x_2 = x_1+x_2

Det är inte generellt sant.

däremot är LOG(PROD...) = SUM(LOG...)

Ok. Men varför är log(prod)=sum(log) sant? Jag antar att du stör dig på att jag delat upp produkten av  theta och sen produkten av x_i. Men varför?

Följer av: log(ab)=log(a)+log(b)

destiny99 skrev:

Trinity2 skrev:

Uppg är Gunnar Blom och lösningen är

Jag och facit gjorde väl typ likadant. 

Inte riktigt

är inte korrekt

är något helt annat. Produkt är inte summa.

Trinity2 skrev:

destiny99 skrev:

Visa föregående citat

Trinity2 skrev:

Uppg är Gunnar Blom och lösningen är

Jag och facit gjorde väl typ likadant. 

Inte riktigt

är inte korrekt

är något helt annat. Produkt är inte summa.

Nej ok hur ska man göra då?

Gör som lösningen visar. Den är bra.

Trinity2 skrev:

Gör som lösningen visar. Den är bra.

Ok

Vet inte om du är med på detta, men jag skriver ändå.

Du vill maximera likelihood-funktionen $L(\theta)$, och när du har oberoende observationer är likelihoodfunktionen en produkt av pdf:er. Om man ska maximera en funktion kan man testa att derivera och sätta derivatan till 0. Dock är det ganska drygt att derivera en produkt av massa termer. Så istället kan vi utnyttja följande observation: vi vill inte veta maximala värdet på likelihoodfunktionen, vi vill veta för vilket $\theta$ som den antar sitt max, och logaritmen av en funktion kommer anta sitt maximala värde för samma argument som funktionen (ej logaritmerad) antar sitt maximala värde. Alltså: om vi hittar för vilket värde på $\theta$ som log likelihood $\log L(\theta)$ antar sitt max så är det samma värde som maximerar $L(\theta)$, eller med andra ord, maximum likelihood-skattningen kan man hitta genom att istället maximera log likelihood-funktionen.

Men varför snackar jag om att logaritmerna? Jo, som du vet gäller att log(ab)=log(a)+log(b), det är grundläggande räkneregler för logaritmer. Och låt säga att nu b=cd, ja då gäller att log(acd)=log(ab)=log(a)+log(b)=log(a)+log(c)+log(d). Om man fortsätter det resonemanget kommer man fram till att $\log(\prod a_i)=\sum \log(a_i)$.

Alltså, genom att ta logaritmen av vår likelihoodfunktion kan vi konvertera den från en produkt till en summa, vilket är betydligt enklare att derivera. Dock, när man tar logaritmen av en produkt får man inte göra misstaget att bara plocka bort log och byta produkt till summa, man måste komma ihåg att logaritmera termerna.