Oui, il faut indiquer à ESD (le démon de son gnome si mes souvenirs sont bons) d'utiliser Alsa.
Et xmms, il faut utiliser le plugin de sortie (output) approprié pour Alsa et non ESD (encore moins OSS)
Quant à mplayer, il te manque sans doute des codecs, tu trouveras de l'aide sur le site officiel de mplayer et un package "w32codecs".