优秀的大型网络架构该如何搭建?核心

资深网络架构专家、500强项目网络运维负责人

——文章摘自联想超级课



今天我跟大家讲的课是网络架构,我们学网络,首先就要知道它的一个整体的结构,方便我们以后学习。

关于网络架构,我主要讲三个部分

✔ 网络结构

✔ 设备介绍

✔ 运维工作与网络发展的趋势和理念

小型网络架构


我们先想一下网络一般讲什么,都是从小开始讲,所以我们先讲一个小型的典型的网络结构。

比如一个小公司可能就一百个人,或者我们一个宿舍,这些实际上也可以说是一个小型网络。当然我们这个宿舍用的网络只有两三个人,多的宿舍可能有七八个人。

小的公司就一百来个人用的网络,它结构比较简单,一般来说,加一个路由器,这个路由器同时可以做(01:40)CP,然后建一个文件服务器,连接打印机,连接终端电脑,再加个无线(管理使用无线),然后外面加个防火墙,同时也可以买个设备就在防火墙后面,防火墙也省了,这就是一个小型的网络。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


小型网络组建很简单,平时宿舍就天天在组建这种小型网络,我们唯一缺少的就是文件服务器,也没有打印机,wifi是有的,只是我们的wifi没有控制器而已,如果加个控制器就跟小型网络一样了。

你可以想象一下,自己的网络再把它稍微扩展一点,就变成一个小型的网络了


中型网络架构


还有稍微复杂一点中型网络。比如说公司有500人或者 700人,总之在1000人以内,建构这种中型网络,相对来说就要复杂一点,这会牵扯到哪些东西呢?

首先要有服务器,人多了肯定需要服务器,所以我们把服务器放在单独的一个区域里面;由于网络会有很多部门,所以还要区分部门,会有多个部门接入。

当然网络结构一般都采用三层结构,我们从上往下讲,在构建的时候,第一个就是我们外网接入,接入进来会有一个路由器,当然有时候也会有核心要义,下面接汇聚的交换机,当然接入交换机是连起来的,中心的网络大概就是这样。当然可能还有其他设备,有防火墙,还有无线网络之类的。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



中型网络大概就是这样设计的,实际肯定比现在讲的要复杂一点。大致就是在典型的小型网络里,往上面加东西,层次更多,一层变成三层。

大型网络架构


接下来继续讲大型的网络,接入超过一千台设备都可以视为大型网络,大型网络接入比中型网络更复杂一些。同时再有路由器和防火墙接入,可能交换机不支持NAT(网络地址转换)。

大型网络结构外网接入,是由运营商提供,一般都会选择两个接入的运营商,因为如果一旦线路挂掉的话,网络也可能会挂掉,所以至少要接入两条。

然后接入的设备外层,一般会接一个防火墙,有些会在防火墙的后面再接路由器,有些防火墙和路由器是在一起的,没有再接单独的路由器,直接用防火墙来做了。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


像我做的BYD项目是直接用防火墙,防火墙当路由器一样的用,接上交换机就可以了。

核心交换机有什么用呢?

它的功能很多,可以插很多板卡,如果你插上防火墙的板卡,它就有防火墙的功能,如果你插上路由器,就有路由器的功能,NAT的功能也是可以有的,只是说这个板卡你买不买而已。

骨干网络


下面就是骨干网络。骨干网络也是三层结构,下图是没画完的,实际上也是三层结构。有核心交换机、有汇聚。

骨干网络主要是核心和数据。大型网络有专门的数据中心,数据中心搭建比较复杂,里面主要是服务器的一些群组,服务器一般也都会放在数据中心里面。

一般来说,大型网络有一个核心的交换机,然后再连到我们骨干的核心交换机上面,数据库里的交换机跟我们平时的交换机还是有一点区别,因为平时交换机发包虽说号称100G或几十G,其实传大数据文件的时候是不一样的。

然后骨干网再连到广域网。广域网你看到有两个,一个是运营商,一个是广域网。

广域网主要是做专线用的,因为大型网络都有分支机构,分支机构要连外地,就需要通过这个专线,所以会专门通过广域网连接。专线跟上网还是有区别,上网业务主要是访问因特网。

广域网的专线作用于连接异地的园区,连起来就是楼宇之间接入的控制。比如厂房或者园区里有很多楼层、很多栋楼房,它接入的时候怎么接入的。

另外因为现在都是无线控制,所以无线也有专门的无线接入。这个无线会集中在控制器来控制,一般都挂在骨干网络核心下面。

但如果网络这么复杂,我们要维护的时候就需要一个专门的软件,作为一个网管平台控制它。网管平台来监控它的流量或是异常情况。

其实大型网络结构实际也不复杂,首先是一个小型公司的小型网,刚开始只有一台交换机,只有一百个人,小型网络相当于接入一个楼层,然后公司和人员发展壮大为中型网络,就有中型的一个骨干网络接进来。到公司更发达了,发展到上千台设备以上,就要加其他的东西,加一个分支机构,然后连到异地网络,因为公司比较大,还需要在骨干网络加个无线控制器,然后也需要建个数据中心,因为网络比较大,就要有一个网管平台,所以再加了一个网管平台。

实际它设计也不是那么复杂,就相当于一步一步发展起来的。如果把所有的旁枝全部去掉,就先看一个骨干网络,这是三层结构。

所谓二层结构,就是说接入的交换机是核心交换机,好处是速度很快。下面是服务器存储数据中心,可以用ARP技术,一般这个核心是用单排,然后中间用链路连起来。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



然后看一下三层的结构。三层跟二层有什么区别,唯一的好处就是可以减少核心交换机的投入。因为核心交换机比较贵,缺点是转换延时会稍微大一点,当然这种延时可以忽略不计,现在网络性能都很强,转换时间也非常短,都是毫秒级的,你深甚至感觉不到延时。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


所以三层结构的好处就是可以节约成本,因为核心交换机比汇聚交换机成本会高很多,一台汇交换机大概几万块钱,一个核心交换机一台就是需要几十万。

所以要选用三层还是二层,可以根据你的规模来算,或者你不差钱就选择二层。如果考虑到投资就选用三层。

下面看一个案例:某大学需要建设一个校园网,覆盖范围包括校园里的教学楼、学生宿舍以及食堂等附属设施,另外还有分校、机房等相关设施,我们如何选择。

这种校园一般要采用大型网络结构,校园有一个是主校区,主校区里面会建什么呢?

首先数据中心,数据中心然后再连到各个教学楼,再连到学生宿舍,再到宿舍的各个楼层,然后再通过VPN连到分支机构。学校肯定还要上网,所以会选运营商的线路进来,加上防火墙。学校的设计大概跟大型网络设计是一样的。

设备介绍


下面我们看设备的建设。首先是防火墙,防火墙现在主要介绍四种:

✔ 华为的高端防火墙

✔ 华三系列的防火墙

✔ 瞻博(Juniper)高端防火墙

✔ 思科防火墙


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



现在企业用的用的比较多的是华为的防火墙。以前Juniper用得是很多的,我刚开始工作的时候看到都是Juniper,现在好多都是华为的了。华三的稍微用得少一些,思科看到得更少。

有朋友问Juniper跟思科谁的水平好。Juniper公司的交换机实际上做的是最高端的,思科的话只能算中端。

上网行为管理


如果公司大肯定要用上网行为管理,现在只介绍两个:深信服和华为


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



深信服的行为管理界面比较友好,可以管控一些上网行为。比如不让你浏览哪个网页,或者监控你所有浏览的页面。他很直观的可以看到你浏览了什么网页

上网行为管理说白了,一是可以抓一些证据,二是可以管控用户行为。可以通过这种管理来抓拍他的上网行为,监控他上网到底在干吗,是不是在好好干活,还是有些时候在玩。

当然上网行为管理是很容易结仇的,如果你是IT,觉得这个跟你关系不好,就监控他,肯定不能这么做呀,不然你在公司也没法混了……

核心交换机


你们可以看到核心交换机都很大,当然他确实都很大。两米高的都有,就是一个机柜,放它一个设备就够了,也有一米多的,可以根据你的需求购买。

核心交换机越大就越贵,还非常重,一个人搬不动,要好几个人才抬得动。刚开始没插板的时候还好,两个人可以搬动,等它插完了,重到你怀疑人生,俩人肯定是搬不动的。所以它的价格贵也有贵的原因,这么多的铁也是很花钱的。

它的性能也很强大,因为所有数据都要通过它转发。核心交换机只干一个活,就是转发。你给它数据就给你转发出去,你给它数据就给你转发出去,其他啥事儿不干,光管转发。核心交换机就是干这活的。

因为你所有的流量,内网用户的所有流量都汇聚进来,然后它转发出去,要达到高速转发无阻塞,它性能必须要非常强大。

核心交换机多少钱呢,要看各自公司的采购价格,但这种10508的核心,最少也超过50万。它跟板卡选择也有关系,不同的板卡价格是不一样的,板卡越多就越贵。如果有些新的架构上百万也有可能。

H3C 10508跟华为的970/12700差不多,现在华为最新出的是16800,基本上是100G的口,它的速度就非常快的。这个12700的几个口是100G的,速度非常恐怖,就是为了以后5G上来之后的万物互联、云计算做准备的。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


接下来介绍汇聚交换机,在国内用主要是思科、华为和华三的。

有同学问汇聚交换机是干什么用的。汇聚就是把接入的东西汇聚到一起。把它接入了一些交换机,流量汇聚在一起。

它比核心交换机干的活要多一点,是光要转发,还可以做一些策略。比如哪些网站不让你访问,可以就在汇聚层上设置。汇聚的功能拿来做一些过滤策略,比如限制你访问哪些资源,不让你访问哪些资源,做一个简单的过滤。

还有一般汇聚会作为网关,数据平时我们在电脑里面,当你跨网段访问的时候就是通过网关

汇聚一般两个功能做得比较多,就是做SL跟做DHCP中继。

DHCP服务器是有专门的服务器,当跨网段访问话有一个中继的功能,就是在网关上做的,所以有一个网关中继,中继可以跨网段获取IP地址。

配置也很简单,我们最新用的华为汇聚一般是5720 EI/HI,版本号是5720,购买的话要看清楚版本,因为有版本区分。

华三用的型号比较多,5800、5600、5500都有,根据不同的型号,它的功能会更强一些。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



刚才有同学提问可以跨网段获取IP吗?跨网段获取IP是DHCP中继做的。启用了DHCP中继的话是可以跨网段获取IP的。

还有就是接入交换机,它没有太多作用,就提供一个接入而已,唯一的选择就是要千兆接入还是要百兆接入。如果选用千兆接入,带宽百兆跟千兆相差十倍,但价格相差不太大。所以我们采购都选用千兆交换机。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



再分享一个案例,就是设备的选型。学校宿舍有8栋,每栋有6层,一层有四个单元,每个单元有5个宿舍,每个宿舍有6个人,即一个单元就有30个人,一层有120个人,宿舍接入如何选型?设备汇聚在哪个地方?

这个选型很简单,接入设备我们可以选华为的5720或是华三的5120就可以。汇聚设备选HI或者EI的都行。

网络项目实施


如果我们接了一个项目要怎么做?比如公司接了个网络项目派你去做怎么做呢?

第一步收集信息。无论做任何项目,第一步都是要收集信息,只是收集信息不一样而已。做网络项目收集的是网络相关的信息。

首先收集设备清单。为什么要收集设备清单呢?是为后期做拓扑图或管理做准备

然后收集事故量。一般网络维护是按事故量来计算,所以要把这个收集回来,收集不回来就要自己去跑,把它全部找出来。因为我们找一份就相当于挣了一份钱,对公司未来更好,公司的收入高了咱们收入自然会提高。

还要收集现有拓扑图,你要维护没有拓扑图,说实话是没法做的。结构都不知道怎么维护,问题出来也没法做。

还有现有的vlan规范,网站怎么规划的,怎么加网段,交换机命名方式、交换机管理、安全机制、端口描述、交换机口令权限、汇聚权限、还有交换机远程管理权限等好多。

然后还有无线配置、DHCP权限、AC这些都是需要收集的。流程规范、操作指导、现有的案例也要收集回来。

你可能会说这么多哪里记得住,没关系,你知道它是什么意思就可以,你可以套用下面这个模板来收集信息


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



把这些东西都收集完了,就可以前期维护。我们的人开始进场。进场我们要干什么活,要先拟个计划,就是网络运维规划项,这里写了12项。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


第一个就是交换机盘点,我们收集的信息不一定是全的,用户可能也不一定给你全的,因为资产管理比较复杂,很多资产可能他们自己也搞不明白。所以我们去盘点的时候,顺便把资产也可以盘点一下。

还有就是寻找拓扑图软件,如果有就可以用现成的,如果没有,我们要自己找一个比较好的。接下来制定标准,然后建立核心团队,建好后画出拓扑图画(上面提到已经盘点过),顺便把交换机机房位置在哪、用哪些交换机都可以写出来。

拓扑图画出来有什么用?是为了我们以后维护方便。比如哪里有大故障,可以及时看得到,找到故障点,到底是哪儿出了问题,方便及时排查,排查后就可以直观地看到我们网络长什么样。

还有光纤的物理明细拓扑图,然后是我们标准化的工具,我们要找一个工具来做标准化。如果没有就自己编一个,自己动手丰衣足食。所以大家有兴趣也可以自己学编程,自己编写工具。

继续说汇聚的表,我们知道汇聚的表和交换机的标准配置,做好配置优化的审核、交换机稳定配置等,把这些做完这一年也就做完了,第一年就算完成了。

一般第一年甲方对我们的要求没那么高,犯个小错误也不会太在乎,所以把基础的工作全部做完(可能有些一年还做不完,要做到第二年继续补充细节)。

如果这些都做好对后期维护是非常方便的,会节约我们很多时间,大家标准化一定要做完。

最常见三个问题及解决方法


第一个故障是环路,接入交换机设备最容易出现就是环路,而且影响范围特别大,可能致使一片区域的网络用不了。

维护过网络的朋友知道,其实它的网络排查不难,首先用一条命令清空接口的配置,然后看一看接口下面的包INPUT和OUTPUT,如果多的话可能就有问题。INPUT汇聚到核心的包,如果是下面的交换机INPUT大于OUTPUT,就有可能出现异常,如果特别大的话可能出现环路。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



第二个故障比较多的是私启DHCP,这个故障要不是他们做测试会有私启DHCP,要么是有些用户会插一个路由上去,然后有意无意的就分发了IP地址出来,所以也是有问题的。怎么处理呢?一般来说,在用户端查一下arp,看一下网关的MAC地址是多少,只要我们查到MAC地址,就可以通过交换机MAC地址查到它在哪里,然后关掉就OK了。

DHCP Snooping也是可以的,如果我们开启DHCP Snooping的话也可以解决这个问题,DHCP Snooping也叫信任端口,如果做好前期防范这个影响就很小了,如果没有开启信任端口的话就会有问题。当然不是每个交换机都支持信任端口,有的交换机就不支持,所以也开不了。

环路的时候一般从汇聚往下测,因为所有的流量都会集中到汇聚,通过汇聚往下再来汇聚口有异常,查到有异常后查到那个口,它接的交换机是哪一个,进来再往下找异常的交换机在哪里,再往下查一段一段查就可以了。

刚说到开启了一个trust的信任端口,开启这个信任端口的时候,不是说每个口都开(可能有些设备是每个口都开的),比如华为不是每个口都开的。像华为交换机都只开权限在一个口上,就是主口上,其他口不用开。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



第三个比较多的故障是光纤链路故障。这个故障是最多的,平时我们网络好它出问题的机率也挺小,特别是上层的网络像汇聚压力器或核心机房,基本上没什么链路问题。

如果下层接入交换机,到汇聚交换机连接的话,一般都是光纤连接,然后链路就容易出现问题,即光纤的链路故障

怎么查看这个故障?可以遵循先软后硬的原则,就是先看交换机的端口是不是宕掉的,如果宕掉的话,就要到现场去看,因为宕都宕掉了咱啥也做不了,只能到现场看。

看一下灯有没有亮,光纤的灯只管收,有收到它就亮,所以如果有一头是亮的一头是不亮的,就有的是宕掉的,有的不是宕掉的。光纤是单通的形式,如果我们看到这种或看到都不亮的话,第一步就是看看尾纤是不是好的,如果它是坏的,可能老鼠咬坏了,它最爱咬这个尾纤了,尾纤也比较好咬。

如果不确定就直接换一个,如果还没好就把光模块换了,重新插拔试一下行不行,如果这些都不行,就看一下交换机配制有没有问题,还是不行,我们就只能去打光测试,看有没有光过来,光纤主链路有没有断掉。

如果这些都不行,配制也没问题,还有一步,测一下它的损耗,损耗越接近0越好,一般负10左右都算比较好的。当然打环测一下也可以,打光更方便点。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



还有机房运维的时候,不光是维护,还要看看机房这一块,机房要做得很漂亮。第一步把光纤盘放在第一个,第二个就放我们的交换机,接入交换机的线,从侧面也可以,从后面也行,侧面比较好找线,颜色会变好些,然后其他再绑好。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


软件学习


平时学习或者练习可以用系统软件和维护软件。

一个是华为的模拟器,个人觉得做的很好,也可以模拟出所有的设备,核心汇聚、完整网络都可以模拟出来。

二是VMware,当然HP、微软自带、虚拟机和QM也可以。我个人比较喜欢用VMware来做虚拟机,因为建服务器可以连在一起。

三是CRT,我们专门研究交换机用的

还有WhatsUp管理软件可以练习,这个设置比较简单,功能操作比较友好,它功能还是比较强大的。


工具分享


现场配制交换机用的线。现在支持蓝牙了,用蓝牙也可以。

光笔:测试打光使用,看光纤是不是完好。如果光纤完好,光比无法测出,还需要使用专门测损耗的设备

测损耗设备不使用时默认数值是-70,使用时如果检测数值为0到-25是正常使用状态,如果超过-25,光纤可能是断线状态。

测断点设备当然就是测断点用的了,可以通过光反射测光纤中间有没有折断。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



网络运维面临的挑战


随着网络的迅速发展,我们的运维工作也面临着极大的挑战。

第一个就是感知世界,万物互联。大家一直在说万物联网,万物联网实际上离我们很近了,5G应用后,会加速推动物联网的进行,网络建设者们也希望终端接入和数据管控更快捷,更安全。

二是敏捷商业,快速上线。任何工作都要快速的上线,云计算出现后,就要求我们做东西要快,商业模式日新月异,不断增长的新业务只有快速上线才能抓住商机。新业务、新应用产生了大量数据,网络本身就是重要的数据来源之一,可以挖掘特殊商业价值,同时大数据又对网络带宽和转发质量的保证与监控提出更高要求。

还有无线网络马上就出WIFI6了,WIFI6出来后会对我们现在的网络造成很大冲击,因为现有的接入的速度比较慢,接入人数也有很大的限制。

第三是以人为本,泛在接入,随着Wlan和智能终端的普及,移动办公成为大势所趋。

四是简化管理,效率提升。层出不穷的需求导致网络协议与网络设备的复杂程度持续增长,如何降低网络管理难度,提升管理效率,这需要全新的网络架构来支撑。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


业界网络发展趋势



优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?



第一个就是无序自治,第二个就是分类集中,现在是SDN软件定义网络,未来就是All Cloud云化网络,云控制所有的东西,相当于AI管理。

云化网络的特征是什么?云来统一管理所有的东西,统一承载,统一管理,按需定义资源、弹性的扩展、自动部署,自动分布自愈,如云工作。以后的维护就是会自动化运维,不需要我们去管他,网络有故障会自动修补,硬件故障可能还是要人去换,当然机器人也可以换。


优秀的大型网络架构该如何搭建?核心/汇聚/接入交换机怎么选择?


所以以后我们工作的机可能会越来越少,但是如果我们会复杂的网络维护很牛了,那个时候工资可能更高。

因此我们一定要看未来的趋势是什么,学习趋势的东西


分享到:


相關文章: