Yang membuat namanya tidak asing di kalangan penegak hukum adalah pengalamannya di KPK. Rudi pernah bertugas sebagai jaksa penuntut umum di Komisi Pemberantasan Korupsi, di mana ia antara lain menangani kasus Aulia Pohan, mantan Deputi Gubernur Bank Indonesia yang juga besan Presiden ke-6 Susilo Bambang Yudhoyono. Dan pada 2003, satu fakta yang jarang disebut: Rudi Margono menjadi satu-satunya jaksa yang berhasil menembus enam besar seleksi Deputi Penindakan KPK. Jabatan itu akhirnya diserahkan kepada Irjen Rudi Setiawan, tapi rekam jejak itu mencerminkan bagaimana lembaga pemberantasan korupsi pernah menilai kemampuannya layak untuk diuji di level tertinggi.
Di bidang akademik, Rudi merupakan doktor lulusan Fakultas Hukum Universitas Brawijaya dan menyandang gelar Guru Besar Kehormatan dalam bidang Ilmu Hukum Pidana dari Universitas Islam Sultan Agung (UNISSULA), Semarang, yang dikukuhkan pada 2025. Tahun 2026, ia menerbitkan lima buku sekaligus, termasuk Follow the Money: Doktrin dan Implementasi Penyidikan TPPU oleh Kejaksaan RI, dan Tracing the Money: Teknik Melacak Aset Koruptor di Dalam dan Luar Negeri — dua judul yang kini terasa sangat relevan dengan perkara yang akan ia tangani.
Sebagai Plt Jampidsus, Rudi Margono mewarisi tiga perkara raksasa yang baru saja dilimpahkan Kortastipidkor Polri ke Kejaksaan Agung: dugaan korupsi pengadaan batu bara PLN yang disebut memicu blackout di Sumatera, dugaan korupsi pengelolaan PT Asabri dan PT Jiwasraya periode 2020-2025, serta dugaan TPPU dalam penyelesaian utang PT CBS kepada PT KNI anak perusahaan Krakatau Steel. Berkas perkara Febrie Adriansyah dan tersangka Don Ritto kini ada di meja Kejaksaan Agung, dan Rudi yang harus memutuskan langkah selanjutnya