1- Instalar XFCE

pi@bot ~ $ sudo apt-get install xfce4

2- Eliminar LXDE

Primero listamos los paquetes de LXDE, luego desinstalamos todos los resultados y finalmente desintalamos los paquetes que han quedado huérfanos

pi@bot ~ $ sudo dpkg --get-selections | grep "^lx"
lxappearance                                    install
lxde                                            install
lxde-common                                     install
lxde-core                                       install
lxde-icon-theme                                 install
lxinput                                         install
lxmenu-data                                     install
lxmusic                                         install
lxpanel                                         install
lxpolkit                                        install
lxrandr                                         install
lxsession                                       install
lxsession-edit                                  install
lxshortcut                                      install
lxtask                                          install
lxterminal                                      install
pi@bot ~ $ sudo apt-get remove lxappearance lxde lxde-* lxinput lxmenu-data lxmusic lxpanel lxpolkit lxrandr lxsession* lxsession lxshortcut lxtask lxterminal
...
pi@bot ~ $ sudo apt-get autoremove && sudo apt-get autoclean

4- Instalar paquetes extra para el audio

pi@bot ~ $ sudo apt-get install alsa-base alsa-utils gstreamer0.10-alsa gstreamer0.10-plugins-base xfce4-mixer
...
pi@bot ~ $ sudo apt-get install gstreamer0.10-plugins-good gstreamer0.10-plugins-bad gstreamer0.10-ffmpeg

5- Reiniciar y arrancar XFCE

pi@bot ~ $ sudo reboot
...
pi@bot ~ $ startx

El primer arranque puede tardar varios minutos pero es normal, luego arrancara mucho más rápido.

Fuentes: www.etcwiki.org, raspberrypi.stackexchange.com [1] [2], mike632t.wordpress.com