Das Unternehmen wurde 1848 in Hvitsten, einer kleinen Stadt am norwegischen Oslofjord, gegründet, als die drei Olsen-Brüder Fredrik Christian, Petter und Andreas ihre ersten Schiffe kauften und eine internationale Reederei gründeten.
In der fünften Generation der Familie betreiben sie Unternehmen, die in verschiedenen Bereichen des Kreuzfahrt- und Passagiergeschäfts sowie in der Luftfahrt-, Schiffsbesatzungs-, Schiffbau- und Offshore-Industrie ausgebildet sind.
Abgesehen von der Transportbranche, dem Fred. Die Olsen-Gruppe ist auch in den Bereichen Luxushotels, Immobilienverwaltung, Immobilienentwicklung und Elektronik tätig.
Büros für das Unternehmen sind auf der ganzen Welt verteilt, obwohl der Firmensitz in Oslo und Teneriffa fest in den Händen der Familie liegt. Fred Olsen Cruise Lines hat seinen Sitz in Ipswich in Suffolk.