分类 有线网络 下的文章

联想M920x与英特尔X710-DA4组建万兆迷你服务器

前段时间分享了联想thinkcentre M920x与Intel X710-T4组建万兆迷你服务器,用的网卡是4个万兆电口的X710-T4,由于最近打算更换核心交换机,换成mikrotik的全光口40gbps交换机CRS326-24S+2Q+RM,所以M920x更换了4光口的万兆网卡X710-DA4。
由于联想官方没有支持四光口的网卡自然也不会有对应的挡板,所以对原配的vga挡板做了魔改。

先上成品图,总体还是比较满意,切割挡板的适合稍微有点歪,但是不影响使用。
back
内部如图
inside
原挡板
original
魔改挡板
modified

已经测试一周,目前还是比较稳定,X710-DA4由于没有了phy芯片热量少了很多。

软件系统:
底层系统:esxi
软路由系统:routeros v7,v7系统现在还在beta阶段,详见RouterOS V7 测试(持续更新至正式版发布)
应用操作系统:ubuntu

网络拓扑图待更新

ps:联想tiny系列迷你主机各个型号对比
M720Q主板B360
M920Q主板Q370,单m.2 SSD,支持雷电扩展卡
M920X主板Q370,双m.2 SSD,支持雷电扩展卡,支持标准电压CPU(不带T的65w tdp),支持AMD RX560独立显卡
P330主板Q370,双m.2 SSD,支持雷电扩展卡,支持标准电压CPU(不带T的65w tdp,支持vPro CPU),支持NVIDIA P620/P1000独立显卡

40Gbps交换机CRS326-24S+2Q+RM开箱及拆解

mikrotik 2019年底发布了他家最高带宽交换机CRS326-24S+2Q+RM,24个10gbps的sfp+口,2个40gbps的qsfp+口
45度照
正面
背面
内部
此交换机配置了三个4cm的三线高转速风速,短期观察有四档温度调节,停转,电压6v低速3k转,9v中速4k转,12v高速6k转,噪音较大,这里更换了猫扇NF-A4x20 PWM,主板风扇接口是4口,而且手上没有NF-A4x20 FLX,所以就直接用了pwm的,短暂测试没有发现问题,系统也可以看到转速。
风扇
风扇
同时购入了两个sfp+转万兆电口模块S+RJ10
万兆电口模块
预计此交换机将替代现在的xs716t成为我的核心交换机

群晖FS1018升级4万兆网络

最近看各位up主纷纷升级了万兆,并且mikrotik新出了40gbps的交换机,我也升级一下我的全固态nas。
我的synology全固态nas FS1018原本用的网卡是x710-da2,这次升级成为xl710-qda2,intel 的40gbps网卡,100gbps的话就需要mellanox的了,intel目前还没有,而且mellanox便宜的二手卡大部分是InfiniBand网卡而不是以太网卡。
群晖FS1018使用的是两张pcie x4转接的12个sata,xl710-qda2使用的是pcie-3.0 x8的接口,按接口来说足够4000MB/s了,但是由于群晖买软件送硬件的特性,FS1018配备的这个奔腾D1508比较孱弱,不知道是否能跑满,由于交换机还没到所以速度测试后面补上。
xl710-qda2使用的是国产寨卡(大厂保修3年),模块也是intel的,是原装还是山寨不清楚
第一次接触40g光纤,使用的mpo接口,以太网卡使用8芯,由于历史原因网速大部分成品都是12芯的,12芯兼容8芯,这里使用的也是12芯。在10g网络以下光纤一般使用双芯lc接口,家用宽带使用单芯sc接口,而mop接口单排8或12芯,更有双排24芯,具体请自行搜索。
下面上图
网卡x710-da2和xl710-qda2
xl710-qda2芯片
xl710-qda2上机
intel 40g模块
模块光纤接口
模块上机
mpo接口光纤

群晖的兼容性列表里没有xl710-qda2,但是按经验intel的驱动兼容自家大部分产品,换之前还稍微有点担心,下图是群晖正确识别
群晖识别xl710-qda2
以下是ssh登陆群晖看到的dmesg内容

[ 58.168571] Intel(R) 10GbE PCI Express Linux Network Driver - version 5.1.3
[ 58.176352] Copyright(c) 1999 - 2017 Intel Corporation.
[ 58.189592] i40e: Intel(R) 40-10 Gigabit Ethernet Connection Network Driver - version 2.3.6
[ 58.198928] i40e: Copyright(c) 2013 - 2017 Intel Corporation.
[ 58.218788] i40e 0000:01:00.0: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.459081] i40e 0000:01:00.0: MAC address: 68:91:d0:xx:xx:xx
[ 58.470715] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[ 58.478036] i40e 0000:01:00.0: User requested queue count/HW max RSS count: 0/64
[ 58.486401] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA
[ 58.511205] i40e 0000:01:00.1: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.751255] i40e 0000:01:00.1: MAC address: 68:91:d0:xx:xx:xx
[ 58.762888] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[ 58.770209] i40e 0000:01:00.1: User requested queue count/HW max RSS count: 0/64
[ 58.778572] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA

RouterOS宽带多播的几种方法

以下多播方法只用到RouterOS,其他通过物理交换机或者虚拟机交换机的方法参考其他文章。

一般运营商限制多播的方法是限制同一mac地址多播,所以基本思路是通过虚拟接口配置不同mac地址进行多播。

一,vrrp方式
1、VRRP设置
打开“Interfaces” - “VRRP”,点击“+”
添加3个VRRP,name分别为vrrp1,vrrp2,vrrp3
VRRP选项卡分别设置vrrp1的VRID为1,vrrp2的VRID为2,vrrp3的VRID为3

2、PPPoE Client拨号设置
打开“PPP” - “Interface”,点击“+”,选择“PPPoE Client”
创建3个pppoe拨号,name分别为pppoe-out1,pppoe-out2,pppoe-out3,以及Interfaces分别选择vrrp1,vrrp2,vrrp3
Dial out选项卡。分别去掉“Add Default Route”的勾(不添加默认路由)

3、配置LAN ip地址和激活vrrp虚拟接口配置ip地址
打开“IP” - “Addresses”,点击“+”
添加内网LAN:Addess:192.168.1.1/24 Network:192.168.1.0 Interface:ether2
添加外网WAN:Addess:192.168.88.1/24 Network:192.168.88.0 Interface:ether1
添加vrrp1:Addess:192.168.88.11/24 Network:192.168.88.0 Interface:vrrp1
添加vrrp2:Addess:192.168.88.12/24 Network:192.168.88.0 Interface:vrrp2
添加vrrp3:Addess:192.168.88.13/24 Network:192.168.88.0 Interface:vrrp3
PS:Wan口也就是ether1要和vrrp同一个网段的

4、路由设置
打开“IP” - “Routes”,点击“+”
添加3条默认路由Gateway:pppoe-out1,Gateway:pppoe-out2,Gateway:pppoe-out3,分别对标记为R1,R2,R3指定线路

5、标记内网要走的线路以及提取路由标记指定走pppoe线路
打开“ip” - “Firewall” - “Mangle”,点击“+”
添加3条标记规则
Chain选择“prerouting”,Src.Address填写内网ip(我这里是192.168.1.0/24),这边3条标记都是一样的
advanced选项卡,Per Connection Classifier选择“both addresses”
第一条标记:“both addresses”:3/0,
第二条标记:“both addresses”:3/1,
第三条标记:“both addresses”:3/2
Extra选项卡 Dst.Address Type中Address Type选择local,并勾上Invert,表示非本地,三条标记一样
Action选项卡 Action选择“mark connection”,New Connection Mark填写标记名称
第一条标记New Connection Mark填写PCC1
第二条标记New Connection Mark填写PCC2
第三条标记New Connection Mark填写PCC3
新建3条提取路由标记和指定路由的规则
Chain选择“prerouting”,Src. Address填写内网LAN地址,我这里是192.168.1.0/24,Connection Mark填写刚才标记的名称(需要创建3条规则)
第一条Connection Mark填写PCC1
第二条Connection Mark填写PCC2
第三条Connection Mark填写PCC3
这边Action选择“mark routing”,New Routing Mark填写要走pppoe的名称,这边3条规则分别填写R1,R2,R3

6、路由回路配置,确保同一个会话的数据从相同出口进出。
新建3条input规则,设置Chain:input,In.Interface选择入口
第一条规则:In.Interface选择pppoe-out1
第二条规则:In.Interface选择pppoe-out2
第三条规则:In.Interface选择pppoe-out3
标记入口连接,action选择mark connection,New Connectin Mark选择对应的标记
第一条规则:New Connectin Mark选择PCC1
第二条规则:New Connectin Mark选择PCC2
第三条规则:New Connectin Mark选择PCC3
新建3条output规则,设置Chain:output,Connectin Mark选择刚才标记的
第一条规则:Connectin Mark选择PCC1
第二条规则:Connectin Mark选择PCC2
第三条规则:Connectin Mark选择PCC3
标记默认路由,action选择mark routing,New Routing Mark选择对应的标记
第一条规则:New Routing Mark选择R1
第二条规则:New Routing Mark选择R2
第三条规则:New Routing Mark选择R3

7、配置nat规则
打开“IP” - “Firewall” -“NAT” ,点击“+”
创建一条规则,Chain选择srcnat
action选项卡,action选择masquerade

二,vlan方式
1、首先在Web网管型交换机4个网口设置VLAN_ID:10,20,30,40,还有设置一个trunk口连接到软路由ether1上

2、创建VLAN,Winbox --> Interfaces --> Interface,重命名ether1为WAN,Interfaces -->VLAN,新建4个VLAN:VLAN10,VLAN20,VLAN30,VLAN40。
VLAN ID分别填写交换机上设置的ID,Interface都选择WAN。

3、创建桥接,Bridge --> Bridge,创建4个Bridge:bridge10,bridge20,bridge30,bridge40.并设置修改Admin. MAC Address地址。
但是由于每个VLAN接口的MAC地址是从属于实际物理网卡的,所以需要通过加入bridge方式,利用bridge可以设定MAC地址的特点,将拨号的MAC地址区分开,达到多ADSL拨号能在同一张网卡上实现。
Bridge --> Ports,分别把VLAN一一对应的绑定到bridge上去。

4、创建pppoe连接,PPP --> + 选择PPPoE Clint,General选项卡的“Interfaces”选择bridge10,Dial Out选项卡的“Add Default Route”勾去掉。
分别创建bridge20,bridge30,bridge40的PPPoE拨号。

5、路由设置参考vrrp方式中的路由设置

简单说说替换下来的部分网络设备(201906)

先从交换机说起
网件M7100
网件M7100
M7100是网件目前型号序列里最高等级的万兆电口交换机,推出有十来年了
没有使用的原因是,机房设备,噪音太大


网件M4300
网件M4300
M4300是网件在2016年推出的高级万兆电口交换机,海淘自美国,被税,参考之前的文章
替换原因是,设计散热不佳,功率大


思科2504
思科cap3702i
思科wlc 2504和cap3702i,使用了一年时间
替换原因wifi 802.1ac是第一代,而且思科2.4g下速度太慢,配置不直观,信号倒是不错


ccr1009
mikrotik的ccr系列最低端 被动散热
替换原因cpu的加密解密性能太弱,对比软路由的routeros chr版速度差太多


最后是合影
合影