Si bien podía usarse el anterior, Oracle acaba de actualizar su repositorio para que pueda ser usado en Ubuntu 14.04 y 14.10.
Para instalarlo agregamos el repositorio abriendo la terminal y escribiendo:
sudo sh -c 'echo "deb http://download.virtualbox.org/virtualbox/debian utopic non-free contrib" >> /etc/apt/sources.list.d/virtualbox.org.list'
Agregamos la clave de autenticación:
wget -q -O - http://download.virtualbox.org/virtualbox/debian/oracle_vbox.asc | sudo apt-key add -
Y con estos comandos instalamos.
sudo apt-get update
sudo apt-get upgrade
sudo apt-get install virtualbox-4.3
Fuente: planetadiego