also das tauschen der rpms wird nicht schaden aber einen grossen geschwindigkeits gewinn wirst du damit nicht erzielen.
bei dem selbstkompilierten kommt es darauf an ob du dem gcc irgendwelche flags mit gegeben hast oder nicht, aber kicken wird das auch nicht.
meiner erfahrung nach spürt man nur was wenn man die grossen programme optimiert (libc, x)
wenn du dein system wirklich auf den proz zu schneiden willst dann würde ich die suse in die tonne treten und zu gentoo greifen. eine stage1 installation mit ordentlichen CHOST settings sollte das beste aus deiner kiste rausholen.