ML-skattning av en parameter

Hej!
Hur ska man börja i a) ? Jag fastnade lite på det. Skulle även behöva en ledtråd till b)
Vad är den gemensamma tätheten av de slumpvariablerna?
Betraktar vi uttrycket för gemensamma tätheten som en funktion av , säg , så uttrycker den sannolikheten för någon viss observerad data som funktion av parametern . Detta brukar kallas för likelihood-funktionen.
Vi vill maximera denna funktion (maximum likelihood-metoden: vilket värde på gör den observerade data mest sannolik?).
För att lyckas med detta är det användbart att använda log-likelihood och att derivera för att hitta ev. maxima.
MK = minsta kvadratmetoden. Då försöker man istället minimera en funktion Q som består av en summa av kvadrater.
Gustor skrev:Vad är den gemensamma tätheten av de slumpvariablerna?
Betraktar vi uttrycket för gemensamma tätheten som en funktion av , säg , så uttrycker den sannolikheten för någon viss observerad data som funktion av parametern . Detta brukar kallas för likelihood-funktionen.
Vi vill maximera denna funktion (maximum likelihood-metoden: vilket värde på gör den observerade data mest sannolik?).
För att lyckas med detta är det användbart att använda log-likelihood och att derivera för att hitta ev. maxima.
MK = minsta kvadratmetoden. Då försöker man istället minimera en funktion Q som består av en summa av kvadrater.

Så långt kom jag i a). Vad gör jag nu?
Jag skulle först logaritmera (ta log-likelihoodfunktionen) och sedan använda derivata för att hitta maximum. Tänk på att termer som inte innehåller är konstanter och försvinner vid derivering med avseende på .
Gustor skrev:Jag skulle först logaritmera (ta log-likelihoodfunktionen) och sedan använda derivata för att hitta maximum. Tänk på att termer som inte innehåller är konstanter och försvinner vid derivering med avseende på .

jag fick något negativt under rottecknet när jag maximerade log av likelihood funktionen. Ska det vara så?
Det ser nästan rätt ut, men jag tror du fått ett minustecken fel som du själv redan misstänkt. På fjärde raden nedifrån har du förenklat till , men det borde bli , eller hur?
Gustor skrev:Det ser nästan rätt ut, men jag tror du fått ett minustecken fel som du själv redan misstänkt. På fjärde raden nedifrån har du förenklat till , men det borde bli , eller hur?
Ja precis. Jag rättade till detta, svaret kommer altså bli såhär , men vilket tecken skall b ha då? Jag antar att man vill åt det positiva svaret på ml skattning av parametern b.

Hur ska man tänka i b?
Ja precis. Jag rättade till detta, svaret kommer altså bli såhär , men vilket tecken skall b ha då? Jag antar att man vill åt det positiva svaret på ml skattning av parametern b.
Det är riktigt, för parametern i en Rayleighfördelning gäller det alltid att . Det verkar inte stå i uppgiften, men kanske på något formelblad?
Hur ska man tänka i b?
Jag antar (ska erkänna att jag inte är helt säker) att du ska använda funktionen från Formelsamlingen, som jag gissar ser ut som en summa av kvadrater. Till skillnad från ML-skattning där du maximerar en likelihood- eller log-likelihoodfunktion ska du här minimera funktionen , alltså hitta ett värde som gör att summan av de kvadrerade felen (det som funktionen mäter) blir så liten som möjligt. Detta värde blir då din MK-skattning av parametern. Du borde dock kunna göra detta genom att derivera precis som i a).
Gustor skrev:Ja precis. Jag rättade till detta, svaret kommer altså bli såhär , men vilket tecken skall b ha då? Jag antar att man vill åt det positiva svaret på ml skattning av parametern b.
Det är riktigt, för parametern i en Rayleighfördelning gäller det alltid att . Det verkar inte stå i uppgiften, men kanske på något formelblad?
Hur ska man tänka i b?
Jag antar (ska erkänna att jag inte är helt säker) att du ska använda funktionen från Formelsamlingen, som jag gissar ser ut som en summa av kvadrater. Till skillnad från ML-skattning där du maximerar en likelihood- eller log-likelihoodfunktion ska du här minimera funktionen , alltså hitta ett värde som gör att summan av de kvadrerade felen (det som funktionen mäter) blir så liten som möjligt. Detta värde blir då din MK-skattning av parametern. Du borde dock kunna göra detta genom att derivera precis som i a).
Det står ingenting om detta på formelsamlingen. Men jag hittade detta i kursboken. Jag tror lambda är 1 här och c är då b. Så b skall alltså vara positivt som du sa.

Så långt kom jag i b) uppgiften ,men fastnade på hur man ska gå vidare efter substitutionen.

Du kanske kan använda väntevärdet för en standard normal s.v. ? Notera att , och titta på integralen för detta väntevärde. Jämför med som du vill beräkna.
Gustor skrev:Du kanske kan använda väntevärdet för en standard normal s.v. ? Notera att , och titta på integralen för detta väntevärde. Jämför med som du vill beräkna.
Tror inte jag förstår riktigt vad du menar med väntevärdet för en standard normal fördelning s.v? Det är väl inte en normalfördelning vi har
.
Jämför med uttrycket för . Vi vet att för , så vad borde bli då?
Gustor skrev:.
Jämför med uttrycket för . Vi vet att för , så vad borde bli då?
Enda skillnaden är att de har en faktor 1/sqrt(2pi) framför integranden och sen xe^-x^2/2 medan för X har vi 1/b^2 framför integraden och sen x^2e^-x^2/2b^2. Hur ska man jämföra?
Låt , med pdf
(för , annars ).
Enligt definition är
.
Om gäller att
.
Alltså är
. Substituerar vi detta i integralen ovan får vi att
, vilket vi kan skriva som
.
Denna integral ser nästan ut som (för en kontinuerlig slumpvariabel gäller att ), förutom att integrationsgränserna är och istället för och . Men vi vet att sannolikheten för är symmetrisk, så
.
Variansen är , och eftersom vet vi att , eftersom har väntevärde noll och varians .
Sätter vi in detta i vår integral får vi att
.
Det borde också gå bra att köra partiell integrering om man väljer och .
Gustor skrev:Låt , med pdf
(för , annars ).
Enligt definition är
.
Om gäller att
.
Alltså är
. Substituerar vi detta i integralen ovan får vi att
, vilket vi kan skriva som
.
Denna integral ser nästan ut som (för en kontinuerlig slumpvariabel gäller att ), förutom att integrationsgränserna är och istället för och . Men vi vet att sannolikheten för är symmetrisk, så
.
Variansen är , och eftersom vet vi att , eftersom har väntevärde noll och varians .
Sätter vi in detta i vår integral får vi att
.
Det borde också gå bra att köra partiell integrering om man väljer och .
Den här metoden var väldigt lång och säkert nyttigt, men dessvärre kommer jag inte minnas till en eventuell redovisning. Om jag använder partiell integration, hur går jag vidare? Det var den metoden jag kunde snabbt komma på.
Partiell integrering verkar betydligt jobbigare tycker jag, men har du försökt med mitt förslag på och ?
Gustor skrev:Partiell integrering verkar betydligt jobbigare tycker jag, men har du försökt med mitt förslag på och ?
är det inte partiell integration du menade med u och dv? om u=x och så får vi 1/b^2u^2e^-u^2/2b^2
destiny99 skrev:Gustor skrev:Partiell integrering verkar betydligt jobbigare tycker jag, men har du försökt med mitt förslag på och ?
är det inte partiell integration du menade med u och dv?
...jo? Jag menade att om du vill kan du göra det, och då tror jag du ska välja u och dv enligt mitt tidigare inlägg.
Gustor skrev:destiny99 skrev:Gustor skrev:Partiell integrering verkar betydligt jobbigare tycker jag, men har du försökt med mitt förslag på och ?
är det inte partiell integration du menade med u och dv?
...jo? Jag menade att om du vill kan du göra det, och då tror jag du ska välja u och dv enligt mitt tidigare inlägg.
Jag kan ha missförstått dig nu. Men när jag gör den substitution u=x nedan så kommer jag inte vidare än såhär.

Det fattas något. När man gör partiell integration får man två termer, en u*v och en ny integral.
Laguna skrev:Det fattas något. När man gör partiell integration får man två termer, en u*v och en ny integral.
Okej jag är jätte snurrig nu. Jag vet inte vad som fattas helt ärligt. Han sa att jag ska använda u subsitution men vi kommer ingenstans. Vi har liksom 1/b2*(u2*e^-u2/2b2)


Det här fick jag. Lite problematiskt när gränserna ska sättas in...
Gustors metod är snygg. Annars,

Trinity2 skrev:Gustors metod är snygg. Annars,
Och din metod gör inte saken enklare för jag förstår inte din substitution och var du får den ifrån.
Du vill ha

på en välkänd, enklare, form.
Trinity2 skrev:Du vill ha
på en välkänd, enklare, form.

Typ såhär? Det verkar jätteklurigt hur man fortsätter härifrån. Får tyvärr ge upp för stunden tills någon här kan hjälpa mig vidare.
Din metod funkar (i princip), men till slut måste man veta att Gamma(1/2) = sqrt(pi). Om man inte gör som Gustor kommer man aldrig "i mål" med grundläggande analys, utan då måste man kunna Analys 2. Det finns ett par integraler som man bara lär sig vad de är. Beroende på var man är i matematiken är dessa välkända.
Trinity2 skrev:Din metod funkar (i princip), men till slut måste man veta att Gamma(1/2) = sqrt(pi). Om man inte gör som Gustor kommer man aldrig "i mål" med grundläggande analys, utan då måste man kunna Analys 2. Det finns ett par integraler som man bara lär sig vad de är. Beroende på var man är i matematiken är dessa välkända.
Okej, så det bästa är bara att göra som gustors metod och strunta i metoden jag försökte med? För den där gamma(1/2) har jag sett i boken men tror ej den är viktig i kursen för ingen har gått igenom den på övningar. I värsta fall får jag diskutera uppgiften med vår föreläsare om jag inte begriper den innan vi ses.
destiny99 skrev:Trinity2 skrev:Din metod funkar (i princip), men till slut måste man veta att Gamma(1/2) = sqrt(pi). Om man inte gör som Gustor kommer man aldrig "i mål" med grundläggande analys, utan då måste man kunna Analys 2. Det finns ett par integraler som man bara lär sig vad de är. Beroende på var man är i matematiken är dessa välkända.
Okej, så det bästa är bara att göra som gustors metod och strunta i metoden jag försökte med? För den där gamma(1/2) har jag sett i boken men tror ej den är viktig i kursen för ingen har gått igenom den på övningar. I värsta fall får jag diskutera uppgiften med vår föreläsare om jag inte begriper den innan vi ses.
Gustors metod är listig. Fråga din lärare hur den är tänkt att lösas.
Gustor skrev:Låt , med pdf
(för , annars ).
Enligt definition är
.
Om gäller att
.
Alltså är
. Substituerar vi detta i integralen ovan får vi att
, vilket vi kan skriva som
.
Denna integral ser nästan ut som (för en kontinuerlig slumpvariabel gäller att ), förutom att integrationsgränserna är och istället för och . Men vi vet att sannolikheten för är symmetrisk, så
.
Variansen är , och eftersom vet vi att , eftersom har väntevärde noll och varians .
Sätter vi in detta i vår integral får vi att
.
Det borde också gå bra att köra partiell integrering om man väljer och .

Jag hänger inte med på resonemanget om symmetri och varför vi ändrar gränserna från -inf till inf. Jag tappar bort dig där vilket gör det svårt att hänga med.
Normalfördelningens sannolikhetsfunktion är symmetrisk kring sitt väntevärde (som är noll i detta fall). Konkret betyder det att för alla .
Integrerar vi från till får vi därför samma värde som om vi integrerar från till , eftersom
.
Man kan även se detta genom att titta på grafen till sannolikheten:

Dessa två lika delar utgör tillsammans värdet av integralen från till . Varje del är alltså precis hälften av hela integralen.
Gustor skrev:Normalfördelningens sannolikhetsfunktion är symmetrisk kring sitt väntevärde (som är noll i detta fall). Konkret betyder det att för alla .
Integrerar vi från till får vi därför samma värde som om vi integrerar från till , eftersom
.
Man kan även se detta genom att titta på grafen till sannolikheten:
Dessa två lika delar utgör tillsammans värdet av integralen från till . Varje del är alltså precis hälften av hela integralen.
Juste så integralen från -inf till 0 är hälften av hela integralen och inf till 0 är också hälften vilket ger oss att från -inf till inf så är det totalt fZ(x)? Men varför skriver du 1/2x^2fZ(x) i #16?
Därför att är exakt hälften av .
Gustor skrev:Därför att är exakt hälften av .
Ok så rent språkligt när du säger hälften av integralen av normalfördelningens sannolikhetsfunktion så menar du basically det här nedan va? Sorry det är fel ordning nedan

Ja, förutom att även den sista integranden borde vara . Det är bara integrationsgränserna som är olika när du tar olika delar.
Vi använder också att eftersom både och är jämna funktioner (=symmetriska kring -axeln) så är även deras produkt, alltså , en jämn funktion.
Gustor skrev:Ja, förutom att även den sista integranden borde vara . Det är bara integrationsgränserna som är olika när du tar olika delar.
Vi använder också att eftersom både och är jämna funktioner (=symmetriska kring -axeln) så är även deras produkt, alltså , en jämn funktion.
OK. Men varför borde den sista integranden vara x^2fZ(x) och inte x^2fZ(-x)? Jaha så fZ(x) är också symmetrisk kring y-axeln precis som x2 vilket innebär att båda är jämna funktioner?
Som jag skrev så är det samma integrand hela tiden. Eftersom integranden är en jämn funktion (=symmetrisk kring -axeln) så är båda bitarna från 0 till oändligheten och från minus oändligheten till 0 exakt lika stora.
Gustor skrev:Som jag skrev så är det samma integrand hela tiden. Eftersom integranden är en jämn funktion (=symmetrisk kring -axeln) så är båda bitarna från 0 till oändligheten och från minus oändligheten till 0 exakt lika stora.
Jaha okej. När du säger samma integrand så menar du alltså att fz(x)=fz(-x) då funktionen är jämn? Allt detta är sen lika med hälften av integralen

Stämmer detta ovan innan jag grönmarkerar tråden?
Integrand är den funktion som integreras. Den funktionen ändras inte. Det som händer konceptuellt är att vi kan, om integranden är en jämn funktion, dela upp en integral från till i två likvärda integraler från till och från till . Vi kan förstås göra den uppdelningen av integrationsgränser för alla möjliga integrander, men bara för jämna sådana får vi lika stora delar.
Alltså: Om
,
,
och
,
så är
för alla integrerbara funktioner .
Om för alla gäller även att
.
Allt detta gäller även när , så länge konvergerar.
Gustor skrev:Integrand är den funktion som integreras. Den funktionen ändras inte. Det som händer konceptuellt är att vi kan, om integranden är en jämn funktion, dela upp en integral från till i två likvärda integraler från till och från till . Vi kan förstås göra den uppdelningen av integrationsgränser för alla möjliga integrander, men bara för jämna sådana får vi lika stora delar.
Alltså: Om
,
,
och
,
så är
för alla integrerbara funktioner .
Om för alla gäller även att
.
Allt detta gäller även när , så länge konvergerar.
Aa ok. Men det blir i alla fall rätt som jag tänkte att det blir lika med 1/2I där I är som din funktion g(x). Jag snackade förresten med min läraren om den uppgiften och han anser att den var svår och man behöver komma på alla dess steg själv under en tenta för betyget A så han tänkte exakt som dig. Men för mig var det inte trivialt eftersom jag har aldrig sett en sån fråga förut och det lär behövas erfarenhet för att kunna lösa exakt såna. Denna uppgift är basically sista frågan på tentan.
Det var en klurig fråga, jag håller med. Och det som kallas "Gustors lösning" i den här tråden är egentligen inte min egna lösning, utan jag anpassade den från en liknande lösning (där parametern ) som jag hittade på nätet.

