Nació en Los Angeles en 1948. Su madre trabajaba como enfermera y tenía problemas con la bebida y su padre era contable.

Al divorciarse sus padre en 1954, su madre, Jean Hilliker Ellroy, obtuvo la custodia del hijo y se trasladó con él a El Monte (un barrio deprimido de Los Angeles). Ella sería asesinada en 1958 y el asesino nunca fue capturado. James Ellroy publicó en 1996 Mis rincones ocuros, un relato autobiográfico del asesinato de su madre y de la reinvestigación del caso que él mismo realizó en 1994.

Como un joven muchacho perseguido por el fantasma de su madre, Ellroy se convirtió en ladrón, alcohólico, drogadicto y pervertido sexual que espiaba a las mujeres. Se introducía en domicilios ajenos para robar comida o ropa interior femenina y por ello pasó algún tiempo en la cárcel.

En ocasiones llegó a declararse nazi y realizó declaraciones en contra de judíos y negros.

Se convirtió en un ávido lector de novelas policíacas y empezó a estructurar sus fantasías en forma narrativa, y cuando a la edad de diez años su padre le regaló el libro The Badge: a history of the LAPD de Jack Webb, se obsesionó con el mismo y lo estudió repetidamente. Desarrolló una fascinación obsesiva con el asesinato, y en este libro descubrió la historia del horrible asesinato y mutilación de Elizabeth Short, la La dalia negra, sobre cuyo crimen y los personajes que intervinieron en el mismo escribiría más tarde en el L.A. Quartet.

La obsesión, comenta Ellroy con conocimiento de causa, es buena, si logras sobrevivir a la experiencia. Asimismo considera que "la historia de América en el siglo XX es la historia de los crímenes cometidos por malvados hombres blancos."

La mayor parte de sus primeros 30 años de vida los dedicó a vagabundear, al alcohol, al abuso de las drogas, a pequeños delitos y al flirteo con la enfermedad mental. El inicio de su recuperación coincidió con el viaje que realizó a Kansas City. Poco después encontró trabajo como caddy en algunos clubs de golf de Los Angeles y se hospedó en un hotel barato. Entró en Alcohólicos Anónimos en agosto de 1977 y dejó la bebida.

Mientras caminaba seis dias a la semana por el campo de golf, empezó a controlar su pasión narrativa por el crimen y a soñar despierto con una novela, que empezaría a escribir a comienzos de 1979. A la edad de 30 años publicó su primera novela, Requiem por Brown, que recreaba su propia vida.

En 1985 comenzó a escribir La dalia negra, en un intento explícito de combinar el asesinato de su madre con el famoso caso que tanto le obsesionó en su juventud. La novela, que dedicó a su madre, apareció en 1987 y obtuvo un gran éxito.

Otra de sus novelas, American Tabloid, fue calificada en 1995 novela del año por la revista TIME. El novelista William Vollman dijo de ella en el New York Times Book Review: "Una obra de arte extraordinariamente controlada". Y Los Angeles Times comentó acerca de Ellroy: "No es simplemente un excelente escritor de ficción policíaca. James Ellroy se está convirtiendo en uno de los grandes escritores norteamericanos de nuestro tiempo."

En Europa se le considera una especie de semidiós cultural del género "negro" y está más estrechamente identificado con Los Angeles que cualquier otro escritor desde Raymond Chandler. Prácticamente toda su obra anterior a American Tabloid transcurre en Los Angeles, principalmente en la ruda y racista pre-Miranda Los Angeles de la década siguiente a la Segunda Guerra Mundial.

Las cuatro novelas que preceden a American Tabloid – La dalia negra, El gran desierto, LA Confidential y Jazz blanco – se conocen colectivamente como el LA Quartet. Comprenden una obscura y obsesiva anti-historia de su ciudad natal en los años cincuenta.

En el verano de 1995 se trasladó a Kansas City y reside allí desde entonces.

Largometrajes y películas para TV basadas en sus obras:

• Cop (1987). Basada en Sangre en la luna, y protagonizada por James Woods.
• L.A. Confidential (1997). Adaptación de Curtis Hanson para el cine de la novela clásica de Ellroy, y protagonizada por Kim Basinger, Russell Crowe, Guy Pearce, Kevin Spacey, y James Cromwell. (L.A. Confidential: The Screenplay)
• Brown's Requiem (1998). Adaptación de Jason Freeland de la primera novela de Ellroy.
• Fallen Angels: Six Noir Tales Told for Television

Obras escogidas:

• Réquiem por Brown (1981)
• Clandestino (1982)
• Sangre en la luna (1983)
• A causa de la noche (1984)
• La colina de los suicidas (1986)
• La dalia negra (1987)
• El gran desierto (1988)
• LA Confidential (1990)
• Jazz blanco (1992)
• American Tabloid (1995)
• Mis rincones ocuros (1996)
• LA Noir (1998) (Incluye Blood on the Moon, Because the Night y Suicide Hill)
• Ola de crímenes (1999)
• América (2001)
• Seis de los grandes (2001)
• The Best American Mystery Stories (2002)
• Destino de la morgue (2004)
• Loco por Donna (2005)