最近看各位up主纷纷升级了万兆，并且mikrotik新出了40gbps的交换机，我也升级一下我的全固态nas。
我的synology全固态nas FS1018原本用的网卡是x710-da2，这次升级成为xl710-qda2，intel 的40gbps网卡，100gbps的话就需要mellanox的了，intel目前还没有，而且mellanox便宜的二手卡大部分是InfiniBand网卡而不是以太网卡。
群晖FS1018使用的是两张pcie x4转接的12个sata，xl710-qda2使用的是pcie-3.0 x8的接口，按接口来说足够4000MB/s了，但是由于群晖买软件送硬件的特性，FS1018配备的这个奔腾D1508比较孱弱，不知道是否能跑满，由于交换机还没到所以速度测试后面补上。
xl710-qda2使用的是国产寨卡（大厂保修3年），模块也是intel的，是原装还是山寨不清楚
第一次接触40g光纤，使用的mpo接口，以太网卡使用8芯，由于历史原因网速大部分成品都是12芯的，12芯兼容8芯，这里使用的也是12芯。在10g网络以下光纤一般使用双芯lc接口，家用宽带使用单芯sc接口，而mop接口单排8或12芯，更有双排24芯，具体请自行搜索。
下面上图

群晖的兼容性列表里没有xl710-qda2，但是按经验intel的驱动兼容自家大部分产品，换之前还稍微有点担心，下图是群晖正确识别

以下是ssh登陆群晖看到的dmesg内容

[ 58.168571] Intel(R) 10GbE PCI Express Linux Network Driver - version 5.1.3
[ 58.176352] Copyright(c) 1999 - 2017 Intel Corporation.
[ 58.189592] i40e: Intel(R) 40-10 Gigabit Ethernet Connection Network Driver - version 2.3.6
[ 58.198928] i40e: Copyright(c) 2013 - 2017 Intel Corporation.
[ 58.218788] i40e 0000:01:00.0: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.459081] i40e 0000:01:00.0: MAC address: 68:91:d0:xx:xx:xx
[ 58.470715] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[ 58.478036] i40e 0000:01:00.0: User requested queue count/HW max RSS count: 0/64
[ 58.486401] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA
[ 58.511205] i40e 0000:01:00.1: fw 6.0.48442 api 1.7 nvm 6.01 0x80003492 0.0.0
[ 58.751255] i40e 0000:01:00.1: MAC address: 68:91:d0:xx:xx:xx
[ 58.762888] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[ 58.770209] i40e 0000:01:00.1: User requested queue count/HW max RSS count: 0/64
[ 58.778572] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 4 RSS FD_ATR FD_SB NTUPLE CloudF VxLAN NVGRE PTP VEPA

在阿里云申请的单域名证书过期了，由于设备众多需要重新申请，索性买个通配符证书（wildcard俗称野卡）。为什么不用letsencrypt的通配符证书，每三个月更新一次证书还不如阿里云的单域名一年更新一次。

经过简单了解，选择了ssl2buy.com购买证书，确实别别的地方便宜一些。
这次购买的是alphassl的40刀一年，购买了2年。
付款后按提示开始配置，需要自己生成csr（Certificate Signing Request），这里使用https://csrgenerator.com/
天好心情信息后会生成如下

-----BEGIN CERTIFICATE REQUEST-----

---

-----END CERTIFICATE REQUEST-----
-----BEGIN PRIVATE KEY-----

---

-----END PRIVATE KEY-----

把上面生成的第一部分

-----BEGIN CERTIFICATE REQUEST-----

---

-----END CERTIFICATE REQUEST-----
填入配置页面，会有个选择域名认证的方式，我选择了dns，
会给你一个txt的根域，解析生效后在配置页面点击验证。
几分钟后就会生成通配符域名证书
这里没有中间证书，为了移动设备等的兼容性需要配置好中间证书，这里通过一个工具来补全https://myssl.com/chain_download.html
保存为fullchain.pem
然后把第一步中
-----BEGIN PRIVATE KEY-----

---

-----END PRIVATE KEY-----
保存为privkey.pem
nginx中修改成这两个文件即可。

硬件：
m920x准系统
正显9900t
ddr4 32g*2
970evo 2t*2
x710-t4

单烤fpu，3.9ghz，风扇全速，噪音直升机，5秒真男人后，稳定2.5ghz，cpu功率 35w，风扇半速，温度73，噪音可以接受。

x710-t4刚刚好能放进去，但是需要稍微动手改造，以原装散热片为例（某宝有的卡是改装的长方形散热片），首先拿下x710-t4散热片后，切掉右上角突出的部分，然后pcb右上角的螺丝孔剪掉1/4，最后m920x的wifi天线架，需要把部分铁皮掰平，防止挤压网卡上的电容。

网卡挡板是i350的，需要稍微紧一下，不然一个螺丝固定的会松 主板bios 不支持sr-iov

ps：最好用塑料纸包住网卡背面并弯折到正面右侧散热片，防止支架、屏蔽泡棉等短路。我就是因为屏蔽泡棉短路了网卡右侧电容导致不能开机，排查了很久才找到原因。

改装位置参考图中红圈位置

软件：
计划esxi
routeros v7
opnsense
win
ubuntu
等

intel vpro 即AMT配置
开机logo时按enter
然后按ctrl+p进入amt配置页面
默认密码是admin，修改密码
打开所有配置，设置好IP地址
下载intel amt管理软件，我这里macos 使用的是meshcommander
打开软件后，填入amt的IP地址，用户名admin，密码刚才改的

amt的web管理页面地址http://[IP]:16992

amt对比ipmi目前发现在重启的时候kvm会断开，不知道是软件的问题还是amt就是这么设计的

20211201停止测试版本信息更新。
20211128更新：v7.1rc7，测试从chr版v7.1beta6升级，未发现问题
20210909更新：v7.1rc3新增支持docker和zerotier
20210319更新：V7.1beta5添加了6.48.1的一些功能。注意从CHR的v7.1beta4升级后不能启动，从6.48升级没有问题；beta5的pppoe接口的流量统计为零。
20210206更新：V7.1beta4修复了webfig和winbox不能配置/ip/route/路由等bug，添加了restapi支持
20201204更新：V7.1beta3发布了，此版本恢复了V6的一些路由表功能，修复了一些bug，有策略路由的可以从V6直接升级到此版本了，不再需要手动添加路由表。CHR版由v6升级到V7.1beta2的谨慎升级，renew license有问题，只能格盘重装。
20200825更新：V7.1beta2增加了wireguard，配置方法参考Routeros 配置WireGuard
20200223更新：beta5版已支持uefi，可以使用更多硬件了，比如up square的x86开发板（只支持uefi启动）
20191222更新：经测试beta4版已支持intel x710-t4，i210网卡，期待正式版
20191029更新：官网正式发布beta3版，下载地址，已发布所有硬件架构版本，增加对openvpn的udp支持
20191022更新：经测试beta2版还是不支持intel x710-t4网卡
20191008更新：经测试chr版的vmdk虚拟硬盘文件使用starwind转换成img，使用win32 disk imager写入硬盘可以引导，但是启动后有检测机制，检测到不是虚拟机后会关机。

routeros v7 beta版下载地址
基于内核4.14.131，支持更多网卡芯片，例如i210

以下多播方法只用到RouterOS，其他通过物理交换机或者虚拟机交换机的方法参考其他文章。

一般运营商限制多播的方法是限制同一mac地址多播，所以基本思路是通过虚拟接口配置不同mac地址进行多播。

一，vrrp方式
1、VRRP设置
打开“Interfaces” - “VRRP”，点击“+”
添加3个VRRP，name分别为vrrp1，vrrp2，vrrp3
VRRP选项卡分别设置vrrp1的VRID为1，vrrp2的VRID为2，vrrp3的VRID为3

2、PPPoE Client拨号设置
打开“PPP” - “Interface”，点击“+”，选择“PPPoE Client”
创建3个pppoe拨号，name分别为pppoe-out1，pppoe-out2，pppoe-out3，以及Interfaces分别选择vrrp1，vrrp2，vrrp3
Dial out选项卡。分别去掉“Add Default Route”的勾（不添加默认路由）

3、配置LAN ip地址和激活vrrp虚拟接口配置ip地址
打开“IP” - “Addresses”，点击“+”
添加内网LAN：Addess：192.168.1.1/24 Network：192.168.1.0 Interface：ether2
添加外网WAN：Addess：192.168.88.1/24 Network：192.168.88.0 Interface：ether1
添加vrrp1：Addess：192.168.88.11/24 Network：192.168.88.0 Interface：vrrp1
添加vrrp2：Addess：192.168.88.12/24 Network：192.168.88.0 Interface：vrrp2
添加vrrp3：Addess：192.168.88.13/24 Network：192.168.88.0 Interface：vrrp3
PS：Wan口也就是ether1要和vrrp同一个网段的

4、路由设置
打开“IP” - “Routes”，点击“+”
添加3条默认路由Gateway：pppoe-out1，Gateway：pppoe-out2，Gateway：pppoe-out3，分别对标记为R1，R2，R3指定线路

5、标记内网要走的线路以及提取路由标记指定走pppoe线路
打开“ip” - “Firewall” - “Mangle”，点击“+”
添加3条标记规则
Chain选择“prerouting”，Src.Address填写内网ip（我这里是192.168.1.0/24），这边3条标记都是一样的
advanced选项卡，Per Connection Classifier选择“both addresses”
第一条标记：“both addresses”：3/0，
第二条标记：“both addresses”：3/1，
第三条标记：“both addresses”：3/2
Extra选项卡 Dst.Address Type中Address Type选择local，并勾上Invert，表示非本地，三条标记一样
Action选项卡 Action选择“mark connection”，New Connection Mark填写标记名称
第一条标记New Connection Mark填写PCC1
第二条标记New Connection Mark填写PCC2
第三条标记New Connection Mark填写PCC3
新建3条提取路由标记和指定路由的规则
Chain选择“prerouting”，Src. Address填写内网LAN地址，我这里是192.168.1.0/24，Connection Mark填写刚才标记的名称（需要创建3条规则）
第一条Connection Mark填写PCC1
第二条Connection Mark填写PCC2
第三条Connection Mark填写PCC3
这边Action选择“mark routing”，New Routing Mark填写要走pppoe的名称，这边3条规则分别填写R1，R2，R3

6、路由回路配置，确保同一个会话的数据从相同出口进出。
新建3条input规则，设置Chain：input，In.Interface选择入口
第一条规则：In.Interface选择pppoe-out1
第二条规则：In.Interface选择pppoe-out2
第三条规则：In.Interface选择pppoe-out3
标记入口连接，action选择mark connection，New Connectin Mark选择对应的标记
第一条规则：New Connectin Mark选择PCC1
第二条规则：New Connectin Mark选择PCC2
第三条规则：New Connectin Mark选择PCC3
新建3条output规则，设置Chain：output，Connectin Mark选择刚才标记的
第一条规则：Connectin Mark选择PCC1
第二条规则：Connectin Mark选择PCC2
第三条规则：Connectin Mark选择PCC3
标记默认路由，action选择mark routing，New Routing Mark选择对应的标记
第一条规则：New Routing Mark选择R1
第二条规则：New Routing Mark选择R2
第三条规则：New Routing Mark选择R3

7、配置nat规则
打开“IP” - “Firewall” -“NAT” ，点击“+”
创建一条规则，Chain选择srcnat
action选项卡，action选择masquerade

二，vlan方式
1、首先在Web网管型交换机4个网口设置VLAN_ID:10，20，30，40，还有设置一个trunk口连接到软路由ether1上

2、创建VLAN，Winbox --> Interfaces --> Interface,重命名ether1为WAN，Interfaces -->VLAN，新建4个VLAN：VLAN10，VLAN20，VLAN30，VLAN40。
VLAN ID分别填写交换机上设置的ID，Interface都选择WAN。

3、创建桥接，Bridge --> Bridge，创建4个Bridge：bridge10，bridge20，bridge30，bridge40.并设置修改Admin. MAC Address地址。
但是由于每个VLAN接口的MAC地址是从属于实际物理网卡的，所以需要通过加入bridge方式，利用bridge可以设定MAC地址的特点，将拨号的MAC地址区分开，达到多ADSL拨号能在同一张网卡上实现。
Bridge --> Ports，分别把VLAN一一对应的绑定到bridge上去。

4、创建pppoe连接，PPP --> + 选择PPPoE Clint，General选项卡的“Interfaces”选择bridge10，Dial Out选项卡的“Add Default Route”勾去掉。
分别创建bridge20，bridge30，bridge40的PPPoE拨号。

5、路由设置参考vrrp方式中的路由设置