Pada Desember 2024, Rudi ditunjuk sebagai Jaksa Agung Muda Bidang Pengawasan melalui Keputusan Presiden Nomor 177/TPA Tahun 2024. Ia menggantikan Ali Mukartono yang memasuki masa pensiun,Rudi juga pernah mengikuti seleksi Deputi Penindakan KPK pada 2003. Saat itu, ia menjadi satu-satunya jaksa yang masuk enam besar kandidat.
Di lingkungan Kejaksaan, Rudi dikenal tegas dalam menjaga integritas dan disiplin aparatur. Baginya, pengawasan tidak hanya berkaitan dengan penindakan, tetapi juga pembentukan budaya kerja yang bersih,“Pengawasan bukan sekadar mencari kesalahan atau menghukum aparat. Kita harus membangun budaya kerja yang bersih dan berintegritas dari dalam,” ujar Rudi dikutip dari laman resmi Kejaksaan RI.,Selain berkarier di bidang hukum, Rudi juga aktif dalam dunia akademik. Pada 15 November 2025, ia dikukuhkan sebagai Guru Besar Kehormatan atau Profesor HC oleh Universitas Islam Sultan Agung, Semarang.