标签 万兆 下的文章

群晖FS1018升级4万兆网络

最近看各位up主纷纷升级了万兆,并且mikrotik新出了40gbps的交换机,我也升级一下我的全固态nas。
我的synology全固态nas FS1018原本用的网卡是x710-da2,这次升级成为xl710-qda2,intel 的40gbps网卡,100gbps的话就需要mellanox的了,intel目前还没有,而且mellanox便宜的二手卡大部分是InfiniBand网卡而不是以太网卡。
群晖FS1018使用的是两张pcie x4转接的12个sata,xl710-qda2使用的是pcie-3.0 x8的接口,按接口来说足够4000MB/s了,但是由于群晖买软件送硬件的特性,FS1018配备的这个奔腾D1508比较孱弱,不知道是否能跑满,由于交换机还没到所以速度测试后面补上。
xl710-qda2使用的是国产寨卡(大厂保修3年),模块也是intel的,是原装还是山寨不清楚
第一次接触40g光纤,使用的mpo接口,以太网卡使用8芯,由于历史原因网速大部分成品都是12芯的,12芯兼容8芯,这里使用的也是12芯。在10g网络以下光纤一般使用双芯lc接口,家用宽带使用单芯sc接口,而mop接口单排8或12芯,更有双排24芯,具体请自行搜索。
下面上图
网卡x710-da2和xl710-qda2
xl710-qda2芯片
xl710-qda2上机
intel 40g模块
模块光纤接口
模块上机
mpo接口光纤

群晖的兼容性列表里没有xl710-qda2,但是按经验intel的驱动兼容自家大部分产品,换之前还稍微有点担心,下图是群晖正确识别
群晖识别xl710-qda2
以下是ssh登陆群晖看到的dmesg内容

[ 58.168571] Intel(R) 10GbE PCI Express Linux Network Driver - version 5.1.3
[ 58.176352] Copyright(c) 1999 - 2017 Intel Corporation.
[ 58.189592] i40e: Intel(R) 40-10 Gigabit Ethernet Connection Network Driver - version 2.3.6
[ 58.198928] i40e: Copyright(c) 2013 - 2017 Intel Corporation.
[ 58.218788] i40e 0000:01:00.0: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.459081] i40e 0000:01:00.0: MAC address: 68:91:d0:xx:xx:xx
[ 58.470715] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[ 58.478036] i40e 0000:01:00.0: User requested queue count/HW max RSS count: 0/64
[ 58.486401] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA
[ 58.511205] i40e 0000:01:00.1: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.751255] i40e 0000:01:00.1: MAC address: 68:91:d0:xx:xx:xx
[ 58.762888] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[ 58.770209] i40e 0000:01:00.1: User requested queue count/HW max RSS count: 0/64
[ 58.778572] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA

联想thinkcentre M920x与Intel X710-T4组建万兆迷你服务器

硬件:
m920x准系统
正显9900t
ddr4 32g*2
970evo 2t*2
x710-t4

单烤fpu,3.9ghz,风扇全速,噪音直升机,5秒真男人后,稳定2.5ghz,cpu功率 35w,风扇半速,温度73,噪音可以接受。

x710-t4刚刚好能放进去,但是需要稍微动手改造,以原装散热片为例(某宝有的卡是改装的长方形散热片),首先拿下x710-t4散热片后,切掉右上角突出的部分,然后pcb右上角的螺丝孔剪掉1/4,最后m920x的wifi天线架,需要把部分铁皮掰平,防止挤压网卡上的电容。

网卡挡板是i350的,需要稍微紧一下,不然一个螺丝固定的会松 主板bios 不支持sr-iov

ps:最好用塑料纸包住网卡背面并弯折到正面右侧散热片,防止支架、屏蔽泡棉等短路。我就是因为屏蔽泡棉短路了网卡右侧电容导致不能开机,排查了很久才找到原因。

改装位置参考图中红圈位置
nic
inside
front
back

软件:
计划esxi
routeros v7
opnsense
win
ubuntu

intel vpro 即AMT配置
开机logo时按enter
然后按ctrl+p进入amt配置页面
默认密码是admin,修改密码
打开所有配置,设置好IP地址
下载intel amt管理软件,我这里macos 使用的是meshcommander
打开软件后,填入amt的IP地址,用户名admin,密码刚才改的

amt的web管理页面地址http://[IP]:16992

amt对比ipmi目前发现在重启的时候kvm会断开,不知道是软件的问题还是amt就是这么设计的

ubnt万兆poe++交换机unifi xg-6poe开箱测试

ubnt最近出货了全万兆poe++(802.3bt)交换机
1开箱图片
正面1
正面2
侧面1
侧面2
背面1
背面2
拆机1
开箱视频待更新

2简单评价
官网介绍页面
四个电口支持802.3bt的最新poe供电协议,还有两个sfp+作为上联端口,支持vlan,支持链路聚合
datasheet
有一个笔记本风扇,空载距离30cm听不到噪音

3测试
待更新

静音全万兆全固态nas(持续更新)

目标:读写1gb/s,目前群晖ds3018xs受限于cpu只能到写700m/s读1g/s,且群晖风扇噪音太大盘位稍小,买群晖的时候还没出fs1018
硬件:主板 x11sdv-16c,内存 三星ddr4 ecc 64g2,散热 d15s,硬盘笼 516sp,硬盘 860evo-4t8,hba卡lsi 2308-it,sata raid卡OImaster EB-6250 JMicron的芯片,网卡 板载x557双10g电口,机箱 先马 小黑洞
第一版图片
硬件1
第二版图片
硬件2正面
硬件2背面

软件:底层esxi6.7,nas系统黑裙6.2

1,为什么不选freenas,网卡驱动性能太差,只有写200m/s,读600m/s,且cpu资源消耗较高,会增加散热风扇噪音
2,为什么不选windows server,调整网卡mtu,buffer之后能到850m/s读写,但是存储池为parity(raid5)写入性能太差,hyper-v兼容性较差
3,为什么需要两个raid卡,OImaster EB-6250 是两个2.5硬盘转sata接口的硬盘盒,两个2.5硬盘支持jbod,raid0,raid1,这里我用了raid1用来安装esxi,并作为esxi的存储,存储虚拟机配置及虚拟硬盘,这样在基础层面保证数据安全
4,为什么选择先马小黑洞机箱,1京东可以第二天送到,2有前面板可以把硬盘抽取盒挡住,以防熊孩子,3设计是近几年的设计,酷冷等有两个5寸光驱位的机箱还是上个世纪的设计,电源上置。。。
5,功耗怎么样,待机80w左右,满载200w,按满载算一年1600度电,还是可以接受,毕竟性能摆在这里
6,噪音怎么样,待机凑到机箱10cm处可以听到风扇声音,满载略低于冰箱工作声音,基本满足静音的目标
7,性能怎么样,afp协议读可以跑满万兆1.1g/s,写大概750m/s,smb协议还在继续优化中
性能1