Jabatan Akauntan Negara Malaysia telah diwujudkan dengan pewujudan jawatan Akauntan Negara di bawah Kementerian Kewangan sebelum Malaysia mencapai kemerdekaan. Mengikut rekod jabatan, jawatan Akauntan Negara yang pertama telah disandang oleh En. G.G.T Browne dalam tahun 1946. Sehingga kini, JANM telah diterajui oleh seramai 13 orang Akauntan Negara. Pada tahun 1967, kepimpinan JANM telah diambil alih oleh seorang anak tempatan.

Senarai nama Akauntan Negara dari 1946 hingga sekarang adalah seperti berikut:-

Nota
a) En. JH. Newbigging memangku jawatan Akauntan Negara pada tahun 1950.
b) En. Mohammad Raslan menjadi Pemangku Akauntan Negara pada 1963.
c) En. Zainul Abidin bin Yahya telah menanggung kerja sebagai Akauntan Negara pada
   1989 – 1990.

Sejak beberapa dekad yang lalu, peranan dan fungsi JANM telah mengalami beberapa perubahan selaras dengan perkembangan sektor awam. Bermula dari satu bangunan yang kecil bertempat di Bangunan Life Insurance Corporation of India di persimpangan Jalan Melaka atau Jalan Tun Perak (Mountbatten Road), kemudiannya ke Bangunan Sultan Abdul Samad di Kuala Lumpur dan seterusnya berpindah ke Blok 8, Kompleks Pejabat Kerajaan, Jalan Duta, Kuala Lumpur.

Kini, JANM telah berpusat di Putrajaya dengan terdiri daripada 8 bahagian setelah Bahagian Kumpulan Wang Amanah Pencen telah diperbadankan sebagai badan berkanun di bawah Akta Wang Kumpulan Persaraan 2007 (Akta 662) berkuatkuasa 1 Mac 2007. Selaras dengan objektif JANM yang mengutamakan penyampaian perkhidmatan yang efisien dan efektif kepada pelanggan, JANM kini telah berkembang kepada 25 buah cawangan di seluruh Malaysia.