Varför är tryck likadant från alla håll i en vätska?

Jag förstår inte hur det kommer sig att formeln $p=\rho gh$ kan användas för att beräkna ett tryck från alla håll, och inte bara ovanifrån. Hur relaterar $g$ till trycket underifrån i exempelvis vatten? Jag antar att det har att göra med tyngden av vattnet ovan en, men hur det skapar ett tryck underifrån fattar jag inte.

När man stoppar ned handen i exempelvis vatten så trycker man ju bort vattenmolekyler, som sedan dras tillbaka mot jorden vilket skapar en tyngd och därmed ett tryck på ens hand. Men vattnet man trycker bort trycks väl bara uppåt, ingen annanstans, eller? Vattennivån stiger ju trots allt.