Företaget härstammar i Hvitsten, en liten stad på Oslofjorden i Norge, 1848 då tre Olsenbröder - Fredrik Christian, Petter och Andreas - köpte sina första fartyg och startade ett internationellt rederi.
Nu in i femte generationen av familjen driver de företag som är kompetenta inom olika aspekter av kryssnings- och passagerarfartyg samt flyg, skeppsbyggnad, varvsindustrin och offshoreindustrin.
Bortsett från transportindustrin har Fred. Olsen-koncernen har också intressen inom lyxhotell, fastighetsförvaltning, fastighetsutveckling och elektronikföretag.
Kontor för företaget är spridna över hela världen, även om bolagets huvudkontor ligger fast i familjen i Oslo och Teneriffa. Fred. Olsen Cruise Lines är baserad i Ipswich i Suffolk.