Если на сайте нет ничего такого что бы действительно могло нагрузить сервер, например большие, тяжелые скрипты, то скорее все что-то с сервером и в первую очередь надо в нем копаться, а то что я перечислял это так, шлифануть для галочки. Еще gzip можно сделать