这个问题可以分解为两个较小的问题：为什么萨鲁曼在艾辛格？为什么只有萨鲁曼巫师在艾辛格?
就第一个问题而言，让我们回顾一下萨鲁曼的生平：
白袍萨鲁曼时期 第三纪元，萨鲁曼单独乘船到达了位于中土大陆伊利雅德（Eriador）西边的灰港岸，只有造船者瑟丹知道他的身份和起源。后来，他连同两位蓝袍巫师（Blue Wizards、IthrynLuin）进入了中土大陆东部。在一千年以后只有他独自返回到了西部，而两名蓝袍巫师不知去向，与此同时，索伦的势力在多尔哥多荒废的古堡重现。 在第三纪元2759年，萨鲁曼定居在刚铎摒弃之地——艾辛格，刚铎的宰相允许他管理那里。他在那里使艾辛格变为西部自由土地最重要的防御，并在那里发现了真知晶球。 后来，圣白议会成立，由萨鲁曼领导圣白议会。在第三纪元2850年，甘道夫亲自进入多尔哥多，证实了那邪恶的存在的确是索伦重临。在萨鲁曼的建议下，圣白议会决定对抗多尔哥多。在这次会议中，甘道夫第一次显露他的怀疑，萨鲁曼渴望拥有一枚魔戒。萨鲁曼真正的意图是引导圣白议会将索伦驱逐出多尔哥多，以便索伦在其他地方壮大势力，有机会显露出魔戒。第三纪元2941年，圣白议会将索伦驱逐出多尔哥多。
我们可以从中见到，萨鲁曼定居艾辛格是在第三纪元2759年，从东方考察返回之后，获得了刚铎摄政王的许可，那么他为什么会获得这种许可呢？事实上，这与传统大国刚铎和新兴势力洛汗之间的博弈不无关系。
第三纪元早期，卡兰纳宏的人口减少，欧散克塔的部队都调回米那斯提力斯（Minas Tirith），只留下少量人守卫艾辛格，他们被一个世袭的首领所带领。 刚铎摄政王西瑞安（Cirion）将卡兰纳宏割给伊欧西欧德（othéod），成为洛汗。艾辛格是伊瑞德尼姆拉斯（Ered Nimrais）以北唯一仍保留的刚铎要塞，即使已被刚铎几乎遗忘了。艾辛格的守卫与登兰德人（Dunlendings）通婚，刚铎摄政王虽然对艾辛格掌有控制权，但已名存实亡。 第三纪元2710年，洛汗国王迪欧（Déor）统治时期，守卫艾辛格的世袭首领中断，艾辛格始对洛汗人（Rohirrim）怀有敌意。格兰（Gram）统治时期，登兰德人以艾辛格为据点，袭击洛汗。格兰之子圣盔·锤手（Helm Hammerhand）统治时期，登兰德人领袖费瑞卡（Freca）及其子沃夫（Wulf）更几乎毁灭洛汗。洛汗人击败了入侵者，并反攻艾辛格，终占领了艾辛格。
对于艾辛格，刚铎需要一个持久的解决办法，刚铎并不想放弃艾辛格，但缺乏力量统治艾辛格。这时，萨鲁曼从东方归来，并向刚铎摄政王贝伦（Beren）要求驻守艾辛格。贝伦欣然同意，将欧散克塔交托给萨鲁曼。初时，萨鲁曼为刚铎驻守艾辛格，艾辛格遂成为著名的南库路纳（Nan Curunír）萨鲁曼之谷 。第三纪元2953年，萨鲁曼结连索伦，并与刚铎决裂，据地自立，成为艾辛格的领主。
由此可以见得，萨鲁曼占据艾辛格恰逢刚铎势力收缩的契机，同时他取代登兰德的山民实际统治艾辛格也符合洛汗的愿景，最终成为在多方周旋和妥协下的最优解。
接下来让我们看到第二个问题
为什么只有萨鲁曼巫师在艾辛格？分析这个问题的时候，我们自然而然的会想到这些问题，总共有多少巫师，其他巫师在做什么，他们是否有意愿和能力兼管艾辛格呢？
事实上，第三纪元时期，中土世界总共有五位巫师，他们分别是褐袍瑞达加斯特、灰袍甘道夫、蓝袍罗密斯达奴、蓝袍摩列达和白袍萨鲁曼。
在《霍比特人》中，记载瑞达加斯特是甘道夫的好友，他居住在幽暗密林西部的Rhosgobel，是动物的朋友。 瑞达加斯特和其他埃斯塔力一样，自第三纪元初从维林诺乘船到中土大陆，他在维林诺时称阿温代 （Aiwendel），昆雅语中意思是“鸟之友”bird-friend。他原先跟随维拉植物女神雅凡娜，与萨鲁曼一同乘船到中土大陆。 瑞达加斯特被萨鲁曼利用，使之提供动物间谍，他本身不知道萨鲁曼堕落了。直到他派巨鹰之王风王关赫传递信讯之时，发现甘道夫被困在欧散克塔顶层，才知萨鲁曼腐化叛变了。 托尔金的书中再没有记录瑞达加斯特的下落，他可能被中土大陆的花鸟虫鱼迷住了，忘记自己的任务，流连中土大陆，也许他有一日会记起自己的身份，而维林诺大门一直为他打开。
罗密斯达奴进入中土大陆东部后，可能是任务失败了，或堕落了。不过托尔金后来改变设想，给了他在中土大陆使用的名字“罗密斯达奴”，意思是“东方救星” East-helper，说他不是第三纪元到达中土大陆，而是在第二纪元索伦制造至尊魔戒那时到来。他的使命仍然是前往中土大陆东部，减弱索伦力量对东方人类的影响。虽然罗密斯达奴的使命失败，但对第三纪元索伦败亡仍然有深切影响。
摩列达进入中土大陆东部后，可以是任务失败了，或堕落了。不过托尔金后来改变设想，给了他在中土大陆使用的名字“摩列达”，意思是“铲除黑暗者”Darkness-slayer，说他不是第三纪元到达中土大陆，而是在第二纪元索伦制造至尊魔戒那时到来。他的使命仍然是前往中土大陆东部，减弱索伦力量对东方人类的影响。虽然摩列达的使命失败，但对第三纪元索伦败亡仍然有深切影响。
甘道夫不像萨鲁曼，他不喜欢固定的居所，常常在中土大陆之间游走，当他无意进入夏尔，发现霍比特人这种未见过的民族，内心的惊讶可想而知，他决定了解霍比特人，并沾染了吸食烟草的习惯。 第三纪元2941年3月25日，甘道夫和矮人山下国王索林二世于布理巧遇，如无这次巧遇，《霍比特人历险记》和《魔戒》的故事也不会发生。
五位巫师中，罗密斯达奴和摩列达一直在中土大陆的东方活动，疏于精灵的记载，而甘道夫和瑞达加斯特在中土大陆的西北方活动，瑞达加斯特沉迷于自然世界的花鸟鱼虫，甘道夫则与精灵交往甚密，他们一方面对南方人类王国的知识见闻不及萨鲁曼巫师，难以抓住人类各王国部族间相互博弈的契机介入，另一方面他们对于人类的生疏也难以取得南方人类的信任，并予以镇守战略要地的重任。
戏谑的总结一下：
整个世界那么大
一共只有五个巫师
其中还有俩失联了
从头到尾没出来过
估计不是挂了
就是投靠东方邪恶势力了
剩下仨你都见过了
一个白袍装逼犯
一个褐袍糊涂蛋
一个灰袍会近战
没了~~~~~~
艾辛格已经是
单位面积巫师密度最高的地方了
简单来说 艾辛格是刚铎（首都是白城 门口有棵死树辣个）和洛汗（首都是木头城 有美女公主 骑兵很厉害的辣个）两国边境的博弈点，本来是属于刚铎的。
刚铎是人类两大传统强国之一，另一家大国叫阿诺，阿诺在北，刚铎在南，他们都是精灵-人类混血的婆罗门上等人，“努曼诺尔”人建立的。
后来北方的阿诺灭亡了，灭它的是安格玛巫王，巫王就是电影里的戒灵之首，戒灵就是电影里，前面骑马后面骑龙，黑不溜秋的那些，领头的大哥 就是当年的安格玛巫王。
安格玛巫王灭了阿诺之后，因为操作太浪，被援军反杀，全军覆没，逃回索伦爸爸那里打工。
刚铎的国力也缩水的厉害。很长时间里没有王（王的后裔在民间），只有世袭的宰相当摄政王（电影里浇一脸油 要烧儿子 那个黑衣服沙雕），
刚铎原来封在艾辛格那里的一家诸侯也绝嗣了，刚铎对艾辛格没有实际统治能力，
顺水人情就给了萨茹曼来管理，基本算是白给。
后来萨茹曼公开叛变革命了，这地盘当然就归他了。
所谓巫师，其实是迈雅，迈雅是次级神，
魔戒的世界里，主神创造了众神，就把世界交给神管理，神分“一等神”和“二等神”，生活在一个类似“西方净土”的地方，
本来这地方是在地上的，划船就能到，后来因为某些人太浪，想要干爆神，征服西方，神就把这地方弄天上去了。
这帮很浪的人失败后，国家直接给沉海里了。魔戒第三部里，差点被爹烧死的二王子，泡洛汗公主的时候，提到了这件事。
其后人流窜到了中土（就是魔戒的故事发生的大陆），就是前面说的“努曼诺尔”人，被沉海里的国家就叫努曼诺尔。
二等神叫迈雅，巫师就是这样的二等神。上面派他们来中土公干，顺便削了他们的能力，模糊了他们的记忆。
所以他们既不是人类也不是精灵，人家是神，所谓的魔法，其实是人家削了之后的神力，和其他小说里的巫师，就不是一回事。
巫师一共有五个，两个失联，两个盲流，定居的 就萨茹曼一个。
失联的两个没有详细的设定，只知道在“东方”。
盲流的两个，
一个叫甘道夫，就是电影里的灰衣服老巫师，和炎魔搏斗，死了，诸神归位，精灵女王给上面打了个申请，神又给他送回来了，还成了白衣服。
另一个叫瑞德尬斯特，因为喜欢小动物，自闭了，在霍比特人三部曲里算是主要人物之一。
综上，艾辛格被萨茹曼巧取豪夺了，
且里面只有他是巫师，
也没有什么自古以来的人类民族一直在这里被他统治，
能给他收税爆兵，
他叛变革命之后，就只能靠些歪门邪道的方法，爆兽人兵。
结果因为破坏环境，被树人偷家了，~~~~~~~~~~~~~~~~~~~~
