James Frances Ivory nasce a Berkeley, California, il 7 Giugno 1928. Cresce a Klamath Falls, Oregon, dove frequenta la University of Oregon, laureandosi in architettura e in Belle arti. Dopo la laurea si iscrive alla specialistica alla School of Cinematic Arts della University of Southern California, durante la quale dirige il suo primo cortometraggio, Four in the Morning (1953). Di seguito scrive e dirige Venice: Theme and Variations, documentario di mezz'ora presentato come tesi di laurea, che è nominato tra i migliori dieci dell'anno dal New York Times.
Finiti gli studi, nel '61 Ivory fonda una società di produzione indipendente, la Merchant Ivory Productions, insieme al produttore di origini indiane Ismail Merchant e alla sceneggiatrice tedesca Ruth Prawer Jhabvala. La loro collaborazione durerà a lungo e sarà molto produttiva. Ivory e Merchant sono anche partner nella vita. Durante le prime produzioni del trio, a causa dei bassi budget, Merchant fungeva anche da cuoco per la crew, in modo che tutti fossero sfamati in orario e senza problemi - sembra una banalità ma nei set è veramente una cosa importante.
Il primo film autoprodotto esce nel 1963. Intitolato Il capofamiglia, è girato nel paese natale di Merchant, con attori del luogo. I tre sembrano soddisfatti del loro lavoro, e continuano per tutti gli anni '60 ad ambientare i loro film romantici in India. Nel '75 Ivory dirige invece Party Selvaggio, commedia ambientata questa volta negli Stati Uniti, scritta da Walter Marks, invece che dalla Jhabvala. Due anni dopo tornerà a lavorare con la sceneggiatrice tedesca in Roseland.
Dopo un breve salto nel documentario Ivory raggiunge il successo nel '84 con il film I bostoniani, adattamento del romanzo di Henry James curato dalla Jhabvala. Interpretato da Christopher Reeve e Vanessa Redgrave, è nominato a due Academy Award, uno dei quali per Migliori costumi, assegnata a Jenny Beavan. Nonostante la non ottima accoglienza critica, la casa di produzione sembra aver trovato una sua strada, cioè quella del film drammatico-romantico in costume, che continuerà a seguire per il resto della sua esistenza. In più inizia la collaborazione virtuosa con la Beavan, che riceverà numerosi premi per il suo lavoro nei film della Merchant-Ivory. Nel '85 esce Camera con vista, film romantico tratto dal romanzo di E.M. Forster con Maggie Smith, Helena Bonham-Carter, Judi Dench e Daniel Day-Lewis. Ivory è nominato agli Academy Awards, ma non si aggiudica il premio, mentre lo fanno Ruth Jhabvala per la Miglior Sceneggiatura non originale, la Beavan, insieme a John Bright per i costumi, e Gianni Quaranta per Miglior direzione artistica - in tutto riceve otto nominations.
Nel '87 dirige Maurice, tratto anche questo da un romanzo di Forster. Il film è una critica sociale verso la discriminazione delle coppie omosessuali, interpretata da Hugh Grant. È presentato alla Mostra del cinema di Venezia, alla quale si aggiudica quattro premi - Ivory arriva però pari con Ermanno Olmi, che presenta invece la commedia Lunga vita alla signora!. Riceve anche una nomination agli Academy Awards, di nuovo a Jenny Beavan per i costumi. Lo stesso anno la coppia Merchant-Ivory riceve un premio al Kennedy Center di Washington DC durante la premiere di Maurice, in onore dei loro risultati. I due formano infatti la partnership lavorativa probabilmente più duratura nella storia del cinema.
Nel '90 Ruth Jhabvala adatta un nuovo romanzo, questa volta di Evan S. Connell, Mr & Mrs Bridge, che verrà interpretato da Paul Newman, Saundra McClain e Joanne Woodward, che riceve una nomination agli Oscar come Miglior Attrice protagonista. Il film non ottiene però grande successo al botteghino. Nel '92 esce invece Casa Howard, nuovo adattamento da E.M. Forster, con la coppia di attrici già testata Vanessa Redgrave ed Helena Bonham Carter, insieme ad Emma Thompson ed Anthony Hopkins. Nonostante lo scarso successo, il film ottiene ben nove nomination agli Academy Awards, di cui se ne aggiudica tre - la Jhabvala che porta a casa il secondo premio della sua carriera, Luciana Arrighi ed Ian Whittaker come Miglior direzione artistica, ed Emma Thompson, come Miglior attrice protagonista. Ivory, nonostante sia nominato, ancora una volta non si porta a casa il premio - che quell'anno andrà a Jonathan Demme per Il silenzio degli innocenti, che ne incasserà cinque in totale, compreso Miglior Film. Nel '93 Ivory prosegue la sua carriera con Quel che resta del giorno, con Christopher Reeve, Anthony Hopkins ed Emma Thompson, tutti attori con i quali ha già collaborato. Questa volta ottiene un buon successo sia al botteghino che alla critica, e riceve nuovamente otto nomination agli Oscar.
Dopo questo film per Ivory sembra essere finito il periodo d'oro, e le produzioni successive passano spesso inosservate, come succede con Jefferson in Paris, del '95, e Surviving Picasso, del '96, di nuovo con Anthony Hopkins, insieme a Julianne Moore. Nel 2000 dirige The Golden Bowl, con Uma Thurman, Nick Nolte, Anjelica Huston, James Fox e Kate Backinsale, che è presentato a Cannes, ma segna un pessimo risultato al cinema. Nel 2005 torna a lavorare con Vanessa Redgrave ne La contessa bianca, scritto da Kazuo Ishiguro. Il 2005 è anche l'anno della morte di Ismail Merchant, partner di Ivory per tutta una vita. Ivory, che ormai è ottantaduenne, sta organizzando un concerto in memoria del suo compagno, previsto per il 2011.
L'ultimo film diretto da Ivory è Quella sera dorata, del 2009, scritto ancora una volta da Ruth Jhabvala ed interpretato da Charlotte Gainsbourg e Laura Linney.
2018 Premio Migliore sceneggiatura non originale per Chiamami col tuo nome
1994 Candidatura Miglior regia per Quel che resta del giorno
1993 Candidatura Miglior regia per Casa Howard
1987 Candidatura Miglior regia per Camera con vista
1994 Candidatura Miglior regista per Quel che resta del giorno
1993 Candidatura Miglior regista per Casa Howard
1987 Candidatura Miglior regista per Camera con vista
2018 Premio Migliore sceneggiatura non originale per Chiamami col tuo nome
1987 Premio Miglior regista straniero per Camera con vista
1987 Premio Miglior film straniero per Camera con vista
2017 Sceneggiatura, Produzione
2009 Regia
2005 Regia
2003 Regia, Sceneggiatura
Il regista, sceneggiatore e produttore James Ivory è stato al centro di una Masterclass alla 17esima edizione della Festa del Cinema di Roma: ha raccontato la sua carriera e la sua fascinazione per il viaggio.
Il resoconto della conferenza stampa di A Cooler Climate, il documentario in anteprima alla Festa del Cinema di Roma, scritto e diretto da James Ivory con la co-regia di Giles Gardner, che ripesca immagini sull'Afghanistan dopo 60 anni per mostrare una Kabul diversa.
La Festa del Cinema di Roma 2022 prende il via con il premio assegnato a James Ivory e le proiezioni di Il Colibrì, The Last Movie Stars e, per Alice nella Città, Marcel - The Shell With Shoes On.
Causeway con Jennifer Lawrence e Raymond & Ray, interpretato da Ethan Hawke e Evan McGregor, tra i titoli più attesi del concorso, introdotto nella nuova Festa di Roma 2022, The Menu e Amsterdam tra le anteprime di Grand Public.
Il regista Luca Guadagnino ha risposto alle critiche rivolte dallo sceneggiatore James Ivory al film Chiamami col tuo Nome per la mancanza di scene di nudo.