Solution bourrine, tu peux tout à fait te balader aujourd'hui avec un système linux installé sur une clé USB, et du coup installer dessus ce que tu veux.
En moins bourrin, surtout si tu as besoin d'utiliser le système linux d'origine de la machine, la plupart des logiciels sous linux étant libre, il doit être possible de les recompiler de manière à ce qu'ils utilisent des librairies statiques et des fichiers de configurations pas dans le home.
Enfin (comme je ne sais pas du tout quel est ton besoin exact en fait... j'imagine) tu sais que tu peux tout à fait faire pointer les préférences de certains logiciels linux vers les mêmes préférences du logiciel portable windows sur ta clé. C'est entre autre le cas de firefox ou thunderbird. Tu peux lancer la version linux en indicant le chemin de ton profile sur la clé et tu partages ainsi tes préférences. La manip est expliquée sur le
wiki d'ubuntu-fr par exemple.
Hésite pas à préciser un peu ton propos/besoin qu'on puisse mieux t'orienter si tu le souhaites.