Lee J. Cobb wurde unter dem Namen Leo Jacoby in einer jüdischen Familie in New York geboren. Sein Vater war ein Zeitungsredakteur.
Bereits in jungen Jahren war klar, dass Cobb ein musikalisches Wunderkind war. Er war ein besonders begabter Geigen- und Mundharmonikaspieler. Als Teenager brach sich Cobb das Handgelenk und seine Geigenkarriere war beendet. Im Alter von siebzehn Jahren lief Cobb nach Los Angeles weg, um zu versuchen, Schauspieler zu werden. Da er in Hollywood kein Glück hatte, kehrte Cobb in seine Heimatstadt zurück, um am City College of New York Buchhaltungsunterricht zu nehmen. Gleichzeitig spielte Cobb tagsüber in Hörspielen mit.
Cobb versuchte sich noch einige Male als Schauspieler und hatte in den ersten Jahren sowohl in Hollywood als auch am Broadway wenig Glück.
1935 schloss sich Cobb dem Group Theater an – einer politisch linksgerichteten Theatergruppe. Viele der Mitglieder standen während der McCarthy-Ära auf der schwarzen Liste.
1937 spielte Cobb in den Westernfilmen North of the Rio Grande und Rustler’s Valley
Cobb hatte seinen großen Durchbruch 1949, als er die Hauptrolle in der Original-Broadway-Produktion von Arthur Millers Death of a Salesman spielte.
Nach seiner Berühmtheit wurde auch Cobb der kommunistischen Gesinnung bezichtigt. Als er 1953 vor das Komitee für unamerikanische Umtriebe gerufen wurde, gab Cobb seine Namen preis, um seine Karriere und seine Familie zu schützen.
Im Jahr 1954 wurde Cobb für seine Rolle in dem Film On the Waterfront für einen Oscar nominiert.
Cobb spielte unter anderem Hauptrollen in Exodus (1960), How the West Was Won (1962), Our Man Flint (1966) und The Liberation of L.B. Jones (1970). Seine letzte große Hollywood-Filmrolle war seine Mitwirkung in Der Exorzist (1973).
Cobb starb am elften Februar 1976, nachdem er an einem Herzinfarkt gestorben war. Er ist im Mount Sinai Memorial Park in Los Angeles, Kalifornien, begraben.