La compañía se originó en Hvitsten, una pequeña ciudad en Oslofjord en Noruega, en 1848, cuando tres hermanos Olsen, Fredrik Christian, Petter y Andreas, compraron sus primeros barcos y comenzaron una compañía naviera internacional.
Ahora en la quinta generación de la familia, operan compañías especializadas en diversos aspectos del comercio de cruceros y transporte de pasajeros, así como en la aviación, la tripulación de barcos, la construcción naval y las industrias offshore.
Aparte de las industrias del transporte, el Fred. El grupo Olsen también tiene intereses en el sector de hoteles de lujo, administración de propiedades, desarrollo de propiedades y compañías de electrónica.
Las oficinas de la compañía están repartidas por todo el mundo, aunque la sede de la empresa permanece firmemente en manos de la familia en Oslo y Tenerife. Fred Olsen Cruise Lines tiene su sede en Ipswich en Suffolk.