La società ebbe origine a Hvitsten, una piccola città di Oslofjord in Norvegia, nel 1848, quando tre fratelli Olsen - Fredrik Christian, Petter e Andreas - acquistarono le loro prime navi e iniziarono una compagnia di navigazione internazionale.
Ora nella quinta generazione della famiglia, gestiscono società specializzate in vari aspetti del commercio di navi da crociera e passeggeri, nonché dell'aviazione, dell'equipaggio delle navi, della costruzione navale e delle industrie offshore.
A parte le industrie dei trasporti, il Fred. Il gruppo Olsen ha interessi anche nel settore alberghiero di lusso, nella gestione immobiliare, nello sviluppo immobiliare e nelle società di elettronica.
Gli uffici per l'azienda sono distribuiti in tutto il mondo, sebbene il quartier generale dell'azienda rimanga saldamente nelle mani della famiglia a Oslo e Tenerife. Fred. Olsen Cruise Lines ha sede a Ipswich, nel Suffolk.