Caspar Wohlfahrt vive con su esposa Victoria, quien es médica, en Oslo, Noruega.
Tienen dos hijos, Oscar de 21 años y Edvard de 19 años, ambos con BCM, y Caroline de 13 años. Oscar, nacido en Noruega, fue diagnosticado en 2001 en el Departamento de Oftalmología de la Universidad de Minnesota, ya que la familia vivió en Minnesota durante tres años entre 2001 y 2004. Edvard nació en Minnesota en 2003 y también fue diagnosticado en la Universidad de Minnesota.
Tanto Oscar como Edvard han sido remeros de competición a nivel nacional e internacional. Caspar está ansioso por contribuir a la fundación BCM como embajador para Noruega y Escandinavia.