Olsen var fram til regjeringsskiftet i oktober 2021 statssekretær i Finansdepartementet, med ansvar for blant annet finansmarkedspolitikken, inkludert fintech, klima-, energi- og miljøspørsmål og forhandlinger om statsbudsjett og revidert nasjonalbudsjett.

Olsen har lang erfaring fra politikken. Han har vært generalsekretær i Venstre, ledet det politiske arbeidet i Venstres stortingsgruppe og har vært en del av den politiske ledelse både i Bondevik 2-regjeringen og i Solberg-regjeringen. Han har også deltatt i 4 ulike regjeringsforhandlinger for Venstre, vært finanspolitisk seniorrådgiver og ansvarlig for Venstres alternative statsbudsjett samt en rekke utredninger, rapporter og strategier.