カレームはパリで生まれたが、両親が非常に貧しかったため1792年に捨てられた。 彼は部屋と食事と引き換えに、パリの安カフェで厨房係として働いた。 1798年、パレ・ロワイヤルの近くに店を構える有名なパティシエ（ケーキ職人）、シルヴァン・バイリーに弟子入りします。
カレームは、バイリーがパティスリーのウィンドウに飾るケーキのセンターピースでパリで有名になりました。
カレームはパリのパティスリーのウィンドウに飾られるケーキのセンターピースで名声を得た。センターピースは時には数フィートの高さになり、砂糖、マジパン、ペストリーなどの食材だけで作られた。 フランス国立図書館で勉強した本で読んだ神殿やピラミッド、古代の遺跡などをモデルにしたのだそうだ。
カレームは、外交官で美食家のシャルル・モーリス・ド・タレーラン・ペリゴールや、ナポレオンなどパリの上流社会の人々のために働くこともあった。
ナポレオンは豪華な料理を食べることには興味がなかったのですが、外交官にとって重要な社交の場を知っていたのです。 1804年、彼はタレーランにヴァランセー城を購入するための資金を提供しました。
カレームはタレイランから、1年分の献立を繰り返し作らず、旬のものだけを使うというテストを課されます。 カレームはそのテストに合格し、タレーランの厨房で修行を終えた。 ナポレオンが敗北すると、カレームは一時期ロンドンに渡り、摂政皇太子（後のジョージ4世）の料理長を務めることになる。 その後ヨーロッパに戻り、サンクトペテルブルクで皇帝アレクサンドル1世のために働き、パリに戻り、銀行家ジェームズ・メイヤー・ロスチャイルドのシェフを務めました。
彼は48歳でパリで亡くなり、モンマルトルのシメティエール・ド・モンマルトルに埋葬されています。