本文来自微信公众号：编程技术宇宙 （ID：xuanyuancoding），作者：轩辕之风 O 我是一个网络监控软件，我被开发出来的使命就是监控网络中进进出出的所有通信流量。 一直以来，我的工作都非常的出色，但是随着我监控的网络越来越庞大，网络中的通信流量也变得越来越多，我开始有些忙不过来了，逐渐发生丢包的现象，而且最近这一现象越发的严重了。 一天晚上，程序员哥哥把我从硬盘上叫了起来。 “这都几点了，你怎么还不下班啊？”，我问小哥哥。 “哎，产品经理说了，让我下个月必须支持万兆网络流量的分析，我这压力可大了，没办法只好加班了。”，说完整理了一下自己那日益稀疏的头发。 “万兆？10Gbps？开玩笑呢吧？这是要累死我的节奏啊” “可不是吗，可愁死我了。你快给我说说，你工作这么久了，有没有干的不爽的或者觉得可以改进的地方都可以给我说说”，小哥哥真诚的看着我。 我思考了片刻说到：“要说干的不爽的，还真有！就是我现在花了太多时间在拷贝数据包了，把数据包从内核空间拷贝到用户态空间，以前数据量小还行，现在网络流量这么大，可真是要了我的老命了。” 小哥哥叹了口气，“哎，这个改不了，数据包是通过操作系统的 API 获取的，操作系统又是从网卡那里读取的，咱们是工作在用户空间的程序，必须要拷贝一次，这没办法。你再想想别的？” 我也叹了口气，“那行吧，还有一个槽点，数据包收到后能不能直接交给我，别交给系统的协议栈和 netfilter 框架他们去处理了，反正我拿来后也要重新分析，每次都从他们那里过一次，他们办事效率又低，这不拖累我的工作嘛” 小哥哥皱着眉头，眨了眨眼睛说到：“大兄弟，这个咱也改不了啊，我这水平也有限，我还没有能力改造你绕过操作系统让你直接去跟网卡打交道啊。要不，要不你再说一个？嘿嘿” “好吧，我也就不为难你了。有个简单的问题，你可得改一下” “什么问题，说说看？” “就是我现在花了很多时间在线程切换上，等到再次获得调度执行后，经常发现换了一个 CPU 核，导致之前的缓存都失效了，得重新建立缓存，这又是一个很大的浪费啊！能不能让我的工作线程独占 CPU 的核心，这样我肯定能提高不少工作效率！” 小哥哥稍微思考了一下，说到：“没问题，这个可以有！用线程亲和性就可以搞定，给你划几个核出来，不让它们参与系统的线程调度分配，专门给你用，这事就包在我身上吧！” 过了几天，程序员哥哥对我进行了升级改造，让我的几个工作线程都能独占 CPU 核，工作效率提升了不少。 不过，距离产品经理要求的万兆流量分析指标，那还是差了一大截。 一天晚上，程序员小哥哥又找我聊了起来。 “现在分析能力确实有所提升，不过离目标还差得远啊，你快给我说说，还有没有改进的建议给我啊？” “有倒是有，但是我估计你还是会说改不了”，我翻了个白眼。 “你先说说看嘛！” “现在这个数据包是用中断的形式来通知读取的，能不能不用中断，让我自己去取啊？你是不知道，每次中断都要保存上下文，从用户态切换到内核态，那么多流量，这开销大了去了！”，我激动的说到。 小哥哥听完沉默了。 “看吧，我就说你改不了吧！还是算了吧，趁早给产品经理说这个需求做不了，咱俩都轻松自在” “那不行，这个项目对我非常重要，我还指望通过你来升职加薪，走向人生巅峰呢！”，小哥哥说的很坚定。 “实在不行，那就多找几台机器，把我 copy 几份过去，软件不行就靠硬件堆出性能嘛！”，我冲他眨了个眼睛。 “这还用你说，老板肯定不会同意的” “那我没辙了，实话告诉你吧，想要我能处理万兆网络流量，非得绕开操作系统，我亲自去从网卡读取数据包不可，你好好去研究下吧，想升职加薪，怎么能怕难呢！”，我给小哥哥打了打气。 小哥哥点了点头，“你说的是，我一定可以的，给我一点时间” 就这样过了一个多星期，程序员小哥哥一直没再来找过我，也不知道他研究的怎么样了。 又过了好几天，他终于又来了。 “快出来！我找到办法了，明天就开始改造你！” 我一听来了兴趣，“什么办法？你打算怎么改造我？” “这个新方案可以解决你之前提出的所有问题，可以让你直接去跟网卡打交道，不用中断来通知读取数据包，也不用再把数据包交给系统协议栈和 netfilter 框架处理，不用再频繁的在用户态和内核态反复切换了！”，小哥哥越说越激动！ “你也太牛了吧，能把这些问题都解决了！你是怎么做到这些的，什么原理？”，我好奇的问到。 小哥哥有些不好意思，“我哪有那本事啊，其实这是别人开发的技术，我只是拿来用而已。” “额，那你都弄清楚它的原理了吗，别到时候坑我啊！”，我有些不太放心。 “这个你放心，这个技术叫 DPDK，是人家 Intel 开发的技术，靠谱！” 接下来，程序员小哥哥给我介绍了这个叫 DPDK 的技术原理。 有了 DPDK，通过操作系统的用户态模式驱动 UIO，我可以在用户态通过轮询的方式读取网卡的数据包，再也不用中断了！ 直接在用户态读取，再也不用把数据包在内核态空间和用户态空间搬来搬去。读到了之后我直接就可以分析，还不用走系统协议栈和 netfilter 瞎耽误功夫，简直完美！ “还不止这些呢！还支持大页内存技术”，小哥哥得意的说到。 “大页内存？这是什么” “默认情况下系统不是以 4KB 大小来管理内存页面的吗？这个单位太小了，对于咱们服务器内存会有大量的内存页面，为了管理这些页面，就会有大量的页表项。CPU 里面进行内存地址翻译的缓存 TLB 大小有限，页表项太多就会频繁失效，降低内存地址翻译的速度！” 听到这里，我突然明白了：“我知道了，把这个单位调大，管理的内存页面就少了，页表项数量就少了，TLB 就不容易失效，地址翻译就能更快对不对？” “没错，你猜猜看，调到多大？”，小哥哥故作神秘。 “翻一倍，8KB？”，见小哥哥摇摇头，我又猜到：“难道是 16KB？” “太保守了，能支持 2MB 和 1GB 两种大小呢！” “这么大，厉害了！” 第二天，程序员小哥哥开始了对我进行了彻底的重构。 升级后的我试着跑了一下，发现了一个问题：如果数据包不是很多或者没有数据包的情况下，我的轮询基本上就挺浪费时间的，一直空转，由于我独占了一个核，这个核的占用率就一直是 100%，不少别的程序都吐槽我，占着 ** 不 **。 于是，程序员小哥哥又对我进行了升级，用上了 Interrupt DPDK 模式：没有数据包处理时就进入睡眠，改为中断通知。还可以和其他线程共享 CPU 核，不再独占，但是 DPDK 线程会有更高调度优先级，一旦数据包多了起来，我又变成轮询模式，可以灵活切换。 程序员哥哥连续加了两个星期的班，经过一番优化升级，我的数据包分析处理能力有了极大的提升。 然而遗憾的是，测试了几轮，当面临 10Gbps 的流量时，我还是有点力不从心，还是差了那么一点点。 小哥哥有些灰心丧气，“我不知道该怎么办了，你觉得还有什么哪些地方可以改进吗？” “我现在基本满负荷工作了，应该没有什么地方可以改进了。现在唯一有时间喘口气的地方就是数据竞争的时候了，遇到数据被加了锁发生线程切换歇一歇” 小哥哥思考了几秒钟，突然眼睛一亮，高兴的说到：“有了！” 还没来得及问，就把我关闭，下班去了～ 到底程序员小哥哥又要对我做什么呢？ 
万兆流量需求
中断问题
DPDK
空转问题
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox网页视频下载器 下载地址: ImovieBox网页视频下载器-最新版本下载
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 程序员专区
官方软件产品操作指南 (170)
