Dopo due album abbastanza simili tra loro e votati a sonorità punk ed hardcore con brani veloci e brevi, dall'estetica spesso scarna e dall'impatto talvolta demenziale, a cui alternavano, per spezzare il ritmo, qualche ballata acustica e qualche cover di pezzi storici, con l'uscita di Hold Me Up nel 1990 i Goo Goo Dolls decidono di dare una sterzata alla loro proposta dando ai loro brani una maggiore attitudine rock n' roll e pop, senza però perdere la furia punk/hardcore cercando di raggiungere un sound affine a quello dei loro principali modelli ispiratori, vale a dire Husker Du e soprattutto Replacements. Prima conseguenza di tale cambio di rotta è quella di dare preferenza alla presenza del chitarrista Rzeznik dietro al microfono, anche se lui ed il bassista Takac si alternano spesso in quel ruolo, ma soprattutto è stato il vero debutto con la major Metal Blade che in seguito si prenderà la briga di ristampare anche i precedenti lavori.

Laughing apre l'album con un piglio rockeggiante e dinamico, lasciando trapelare rabbia punk grazie all'interpretazione stridula e sgraziata di Takac ed un ritornello melodico ed orecchiabile, sugli stilemi punk e melodici e su ritmiche veloci fa presa anche So Outta Line, simile per caratteristiche all'opener e cantata infatti ancora dal bassista, mentre Just The Way You Are si dirige più verso un sound parecchio influenzato dagli Husker Du, una piacevole composizione dalle tinte punk e pop, ben interpretata da Rzeznik, che dietro al microfono si fa preferire al compagno Takac anche nella bellissima There You Are, che pare invece far coppia con Just The Way You Are, mostrando una maggiore espressività che più si adatta alle nuove composizioni. Altro bel brano, sempre cantato da Rzeznik, più riflessivo e meno veloce è You Know What I Mean, mentre il breve hardcore di Out Of The Red potrebbe sembrare un pezzo dei Dead Kennedy's se non fosse per la buona e particolare voce di Takac, e non poteva mancare la solita versione dissacratoria di un classico, in tal caso si tratta di Never Take The Place Of Your Man di Prince cantata dal loro concittadino Lance Diamond, così ci pensa Takac con Hey e On Our Side a riportare il lavoro a quei canoni punk, veloci e melodici, dell'inizio, mentre con la brevissima 22 Seconds anche il batterista Tutuska si ritaglia il suo spazio, non solo col suo solo di batteria ma anche cantando. Apprezzabile e piacevole anche la strumentale Kevin's Song, e dopo la breve parentesi del punk degli esordi con Know My Name, si giunge al gran finale con due ottimi brani, vale a dire A Million Miles Away, anch'essa una cover dei Plimsouls e Two Days In February, lenta e semi-acustica, malinconica e romantica, di certo la canzone che più delle altre indicherà loro il percorso che li porterà ai futuri successi.

Hold Me Up è un album carino e piacevole con cui i Goos iniziano a svelare accanto all'aggressività di quel punk/hardcore melodico degli esordi, anche la loro anima più romantica e riflessiva, che in precedenza aveva trovato scarse occasioni, come nel caso della triste James Dean di Jed, per venire a galla. Apripista per il loro avvenire.