Het bedrijf is in 1848 ontstaan in Hvitsten, een klein stadje aan de Oslofjord in Noorwegen, toen drie broers Olsen (Fredrik Christian, Petter en Andreas) hun eerste schepen kochten en een internationale rederij begonnen.
Nu de vijfde generatie van de familie actief is, exploiteren zij bedrijven die bedreven zijn in verschillende aspecten van de cruise- en passagiersvaart, alsook in de luchtvaart, scheepsbemanning, scheepsbouw en offshore-industrie.
Naast de transportibranches heeft de Fred. Olsen-groep ook belangen in de luxehotelsector, vastgoedbeheer, vastgoedontwikkeling en elektronicabedrijven.
De kantoren van het bedrijf zijn over de hele wereld verspreid, hoewel de hoofdkantoren van het bedrijf stevig in handen van de familie zijn in Oslo en op Tenerife. Fred. Olsen Cruise Lines is gevestigd in Ipswich in Suffolk.