Caffieri werd geboren in Parijs. Hij behoorde tot de derde generatie van een familie van beeldhouwers en bronsbewerkers uit Italië, die tijdens het regentschap van kardinaal Mazarin naar Frankrijk waren verhuisd, en was de zoon van Jacques Caffieri en de jongere broer van de bronsbewerker Philippe Caffieri. Hij was een leerling van Jean-Baptiste Lemoyne. Jean-Jacques won de Prix de Rome in 1748 en bracht vier jaar door (van 1749 tot 1753) in de Villa Medici in Rome om de antieke kunst te bestuderen. Terwijl hij in Rome was, werd hij ook geïnspireerd door de beeldende kunst van Bernini.

Terug in Parijs werd hij beeldhouwer van Lodewijk XV en ontwierp hij versieringen voor metaalwerk, met name voor de trap van het Palais-Royal.

In 1757 werd hij lid van de Académie Royale de Peinture et de Sculpture in Frankrijk. Om in 1757 (30 juli) tot de Academie te worden toegelaten, had Caffieri een gipsen beeld van een rivier gepresenteerd, dat hij nog datzelfde jaar op de salon tentoonstelde. De rivier wordt voorgesteld door een naakte oude man, zittend op een urn waaruit het water stroomt. De linkerhand steunt op een roeispaan, de rechter neemt de rand van de urn vast. Het gekroonde hoofd is naar rechts gekeerd.

Jean-Jacques Caffieri gaf blijk van een groot gemak bij de uitvoering: minder dan twee jaar na de goedkeuring van het gipsmodel presenteerde hij het marmer als zijn ontvangststuk op 28 april 1759. Dit marmer is nog steeds te zien in de galerij van ontvangststukken in het Louvre.

Hij maakte echter naam met een reeks portretbustes van tijdgenoten als Madame du Barry, Pierre Corneille, Thomas Corneille, Philippe Quinault, Jean de la Fontaine en Jean-Philippe Rameau en beroemde dramaturgen uit het verleden. Voor het schenken van bustes van acteurs en toneelschrijvers aan het Franse nationale theater, de Comédie Française, kreeg Jean-Jacques Caffieri, een fervent theaterbezoeker, levenslang gratis toegang. Zijn gewoonte om afgietsels te maken van zijn marmeren beelden en deze aan instellingen te schenken kwam goed uit, want veel van Caffieri's marmeren beelden gingen verloren in een brand in 1761.

Caffieri drong aan op absolute getrouwheid aan de trekken van het model, en zijn talent lag in het tot leven brengen van deze gelaatstrekken. Hij slaagde erin zowel de vriendelijkheid van astronoom kanunnik Pingre als het felle gelaat van dokter Borie weer te geven. De Franse filosoof en kunstcriticus Denis Diderot noemde Caffieri's Dokter Borie "een gelijkenis die goed genoeg is om een patiënt te doen sterven van angst".

Onder zijn leerlingen bevond zich Jean-Joseph Foucou.