Nato Adolph Marx, si fece cambiare legalmente il nome in Arthur. Secondogenito tra i fratelli Marx, non ebbe una lunga carriera scolastica: lasciò la seconda elementare quando due compagni di classe lo lanciarono fuori dalla finestra della scuola. Giovanissimo, si adattò ai mestieri più umili per aiutare la famiglia. Nel frattempo ricevette in eredità un'arpa (da cui il soprannome "Harpo") e iniziò a interessarsi alla musica, studiando da autodidatta sia l'arpa (e inventando un proprio metodo per accordarla), sia numerosi altri strumenti, pur senza mai imparare a leggere la musica.
Su pressione della madre, si unì ai fratelli Julius (Groucho) e Milton (Gummo) per uno spettacolino di vaudeville chiamato "I tre usignoli". Quando entrò nel gruppo anche il fratello maggiore, Leonard (Chico), Harpo si rese conto che la parlantina di questi e di Groucho avrebbero permesso a lui di snellire il suo contributo ai dialoghi, fino a che non smise del tutto di parlare sul palco. Con indosso la parrucca e il cappello a cilindro del suo personaggio, Harpo non diceva mai una parola, ma esprimeva una notevole gamma di emozioni con l'ausilio di fischi, trombette e di un'incontenibile pantomima che si placava solo quando si sedeva all'arpa.
Come è noto, i fratelli Marx, dopo i clamori di Broadway, esordirono al cinema con Noci di cocco del 1929 (prima Harpo apparve da solo nelle commedie Humor Risk del 1921 e Troppi baci del 1925), e furono tra gli artefici di immortali capolavori nella storia della comicità ,come Animal Crackers (1930), Monkey business - quattro folli in alto mare (1931), Horse Feathers - I fratelli Marx al college (1932), La guerra lampo dei fratelli Marx (1933) , Una notte all'opera (1935) e Un giorno alle corse (1937), nei quali Harpo dà il meglio di sé inventando sfrenate gag visive che omaggiano le comiche del muto e cimentandosi nei suoi virtuosismi musicali.
Negli anni Venti Harpo fece amicizia con il critico teatrale Alexander Woollcott, che lo introdusse nei circoli intellettuali più esclusivi: quando gli chiedevano come potesse trovarsi bene in una compagnia simile, rispondeva sempre che era perché, a differenza dei suoi fratelli, lui teneva sempre la bocca chiusa.
Gran dongiovanni, si decise a "mettere la testa a posto" solo a 48 anni, quando impalmò l'attrice Susan Fleming, e oltre che marito divenne un padre devoto di quattro bambini adottati, Bill, Alex, Jimmy e Minnie.
Fu anche un ottimo investitore, il che gli permise, dopo aver abbandonato il mondo dello spettacolo (l'ultimo film dei fratelli Marx è Una notte sui tetti del 1949, cui seguirono fino ai primi anni Sessanta solo alcune partecipazioni in show televisivi), di ritirarsi ad una vita agiata finiti gli anni d'oro.
Nel 1961 pubblicò la sua autobiografia, dal significativo titolo Harpo Speaks, nel quale chiarisce una volta per tutte l'equivoco che lo voleva muto alla nascita.
1946 Recitazione
1939 Recitazione
1940 Recitazione
1930 Recitazione