Parametrar
Hej jag har en fråga om man har 100 000 ord och 100-dimenisonella ordinbäddningar, hur många parametrar behöver för det?
Vad är en ordinbäddning? Vilket ämne handlar detta om?
Det är inbäddningslager och ämnet handlar om en enkel neuronal och textklassificare.
ingen hjälper?
Mask134, det är inte tillåtet att bumpa sin tråd inom 24 timmar. /Moderator
Kan du hjälpa mig med Dracaena?
Ingen hjälper???
För min del förstår jag inte frågan.
Vet ej om detta passar i Svenska-avsnittet, men men.
Jag är inte helt insatt i NLP, men spelar verkligen antalet ord någon roll för hur många parametrar som behövs? Brukar man inte representera ett ord med ett tal, och sedan skapa inbäddningen utefter det?
Så, säg att vi representerar ett ord med ett tal (mellan 1 och 100 000 i detta fall, eftersom vi har 100 000 ord). Om du ska gå från ett tal till en ordinbäddning med dimension 100 (alltså en vektor med dimension 100), hur räknas första elementet ut? Hur räknas andra elementet ut? Kan du komma fram till hur många parametrar som behövs då, om du ska göra denna uträkning för 100 element?
Vet inte?
Nähä, det var ju synd. Men säg att det är korrekt det jag säger (att man representerar varje ord med ett tal), kan du komma fram till hur många parametrar som behövs?
Okej, en rättning från mig, man representerar det nog inte som tal utan som en one-hot encoding! Då spelar såklart antalet ord roll för antalet parametrar!
Om vi då istället utgår från att vi har en one-hot encoding, hur stor är den vektorn? Har du sett en ekvation för en neuron, hur ser ekvationen ut?
Hur fan ska jag veta, jag sa att jag vet inte.
mask134 skrev:Hur fan ska jag veta, jag sa att jag vet inte.
Ey, jag försöker hjälpa här, ingen idé att bli otrevlig!
mask134, det finns ingen vits att vara otrevlig, försök hålla en god ton. /Moderator
Ok men jag sa att jag vet inte.
Vad är det du inte vet? Vet du vad one-hot encoding är (kanske finns en svensk översättning)?
Här är vad de vill att jag ska beräkna:
När vi tränar en logistisk modell behöver vi hitta värden för alla vikter och alla baskonstanter. När vi tränar ett inbäddningslager behöver vi behöver hitta värden för elementen i varje ordvektor.
Antag en enkel neuronal textklassificerare för uppgiften att klassificera en filmrecension som antingen positiv eller negativ. Klassificeraren använder en vokabulär på 100 000 ord och 100-dimensionella ordinbäddningar. Hur många parametrar totalt behöver tränas upp för denna klassificerare?
Okej, jag har inte sett ditt kursmaterial men jag antar då att din klassificerare består av två lager: inbäddningslagret som tar in en one-hot encoding av ordet och levererar en 100-dimensionell ordinbäddning. Sedan ett till lager som tar in den 100-dimensionella ordinbäddningen och beräknar två tal (en 2dimensionell vektor) som man kan normalisera till sannolikheter för att ordet är positivt respektive negativt.
Förstår du det jag skrivit? Är det något som jag säger som du inte håller med om?
edit: med tanke på ditt svar nedan tror jag inte det är ett lager på slutet, utan vanlig logistisk regression
Ja det stämmer och jag vet inte på hur man tar fram det jag har läst alla kursmaterial och det finns inte på hur man tar fram svaret. Jag får fel och med felet ger mig ledråd som är : "Ledtråd: inbäddningslager + logistisk modell". Den tycker jag är svårt.
Om jag förstår detta rätt
du vet inte vad en one-hot encoding är?
du vet inte hur lång en sådan one-hot vektor skulle vara för 100 000 ord?
du vet inte hur ett lager i ett neuronnät funkar?
alla dessa delar bör man kunna för att lösa uppgiften
(med reservationen för att det är one-hot encoding som används för att representera orden inledningsvis, men det tror jag)
edit: man måste också veta vad logistisk regression är
Tack ändå jag ska avbruta kursen för att jag kommer ingenstans med uppgiften.
mask134 skrev:Här är vad de vill att jag ska beräkna:
När vi tränar en logistisk modell behöver vi hitta värden för alla vikter och alla baskonstanter. När vi tränar ett inbäddningslager behöver vi behöver hitta värden för elementen i varje ordvektor.
Antag en enkel neuronal textklassificerare för uppgiften att klassificera en filmrecension som antingen positiv eller negativ. Klassificeraren använder en vokabulär på 100 000 ord och 100-dimensionella ordinbäddningar. Hur många parametrar totalt behöver tränas upp för denna klassificerare?
Från det du skrivit vet du att inbäddningslagret innehåller 100000*100 antal parametrar. Man kan alltså säga att ges av en matriskomprimering av samförekomstmatrisen.
Den logistiska modellen har två klasser, positivt och negativt. Det är alltså output från nätet. Input till det logistiska nätet måste matcha inbäddningslagret, det ger antal parametrar till 100*2 + bias för de två noderna.
