James Speed, född 11 mars 1812 i Jefferson County, Kentucky, död 25 juni 1887 i Louisville, Kentucky, var en amerikansk politiker och jurist.
Fadern John Speed var domare och modern Lucy Gilmer Fry dennes andra fru. Brodern Joshua Fry Speed var en nära vän av Abraham Lincoln. James Speed studerade juridik vid Transylvania University i Lexington, Kentucky. Han gick med i whigpartiet och var en stark motståndare till slaveriet. Tidigt i karriären profilerade han sig med denna fråga och när amerikanska inbördeskriget närmade sig, ville Speed att Kentucky blir kvar i USA.
Han tjänstgjorde som USA:s justitieminister 1864-1866 under presidenterna Abraham Lincoln och Andrew Johnson. Efter mordet på Lincoln hörde han till den så kallade radikalrepublikanska falangen och var anhängare av rösträtt för svarta män. President Andrew Johnsons konservativa politik var en stor besvikelse för Speed och bidrog till hans avgång som justitieminister. 1868 var han en av kandidaterna när republikanska partiet valde sin vicepresidentkandidat. Han förlorade dock mot Schuyler Colfax, som sedan blev USA:s vicepresident när republikanerna vann valet. Radikala republikaner var impopulära i Kentucky och Speed misslyckades i sina försök att bli invald i senaten och i representanthuset. I stället arbetade han som juridikprofessor vid University of Louisville.
Speed ligger begravd på Cave Hill Cemetery i Louisville.
