前言

首先附录一下一周任务青2系列中值得关注的一些小点。总体来说，我觉得课程总体设计 通过 青2 这个任务情景 将各种任务串起来，有项目的初步框架。
Day2 《青春有你2》Python 爬虫 和人像动漫体验
Day4 《青春有你2》分类任务坑总
Day5《青春有你2》评论数据爬取与词云分析

心得

第一天的任务是利用python的基本知识完成一些编程题。青2 系列任务从第二天开始。首先是数据获取部分（是通过python爬虫实现），其次是数据分析（很多人可能会忽略这一步，我觉得吧不管是用机器学习算法还是深度学习模型，首先还是需要观察数据分布情况，根据数据分布，可以有哪些选择。比如之前我在检测样品里的生长的微结构，数量很多，大部分的小样品矩形区域比较小。当时考虑目标检测的两种模型SSD,Faster RCNN。区别一个是一阶段直接检测，一个两阶段过程。预测效果和训练的loss来看，SSD表现并不是那么好，loss一直没法收敛到一个比较小的值，尽管检测速度肯定比两阶段检测算法来的快。） 第四天就是自制图片数据集，对其进行分类。第五天，爬取爱奇艺 青2 的一段视频评论，作数据清洗方面的工作后，可视化展示和词云绘制。

在爬虫这块，之前学习也是直接跳过没学的。真的一开始觉得有点懵吧，课上讲的beautiful Soup 来处理，我觉得课程讲的比较简单。课后还是花一些心思去查各种文档，然后在pycharm上不停的调试来学习（我觉得调试这个功能真的非常强大。AI Studio 上的notebook 和 jupyter 我不是很喜欢的主要一个原因在于出错是输出不断上调的日志信息，有些错误呢我觉得光看这个是很难发现的，而且也并不是所有的信息都能print 出来，而且还很麻烦。）。 群里也有非常多的小伙伴懂这块，所以爬虫方面 非常感谢他们的帮助。

在数据分析这块，作业是可视化体重分布。本身任务不是很难。就是我觉得想不同的方法去实现 这是个有趣的过程。
从第二天我们获取的是一个json的文档格式保存了每位star 小姐姐的个人信息(文档里面保存的内容基本格式见下面)：

{'小姐姐名字'：{'信息1'：'', '信息2'：'', '信息3':'', ..., 'weight':'45kg', ...}, ... '小姐姐名字'：{'信息1'：'', '信息2'：'', '信息3':'', ..., 'weight':'45kg', ...} } 

基本的思路，建立四个变量来存储四个区间的体重的计数。用判断语句来比较。不过呢，我就想试一下其他方法：

""" 我的第一个解法，是将符合条件的数据转换为四个区间的映射标签：1，2，3，4 . 从【1，1，3，4，3，...】中建立一个标签和数量的键值对，通过字典索引来获取信息。 """ #读取数据 with open(os.path.join(os.getcwd(),"data","data31557",'20200422.json'),'r',encoding='UTF-8') as file:     json_array=json.loads(file.read())#读取json内容 #获取明星的体重并做统计分析 weights=[] for star in json_array:     weights.append(int(star["weight"][0:2])) # >55 记为1 50-55 记为2 45-50记为3( (45,50] )  <=45记为4 labels=[] for weight in weights: if weight>55:         labels.append(1) elif weight>50:         labels.append(2) elif weight>45:         labels.append(3) else:         labels.append(4) #创建统计个数的字典 flag=[">55kg",'50-55kg','45-50kg','<=45kg'] counts={} #每个标签的占比 labels_set=[] for label in labels: if label not in labels_set:         counts[flag[label-1]]=labels.count(label)         labels_set.append(label) #画饼图 plt.figure(figsize=(9,8)) plt.rcParams['font.sans-serif']=['SimHei']#显示中文 #设置饼图标签 # color=['red','yellowgreen','yellow','lightskyblue']#或是十六进制表示 #将某部分分割数出来，使用括号，数值的小小是分割书来与其他两块的间隙 explode=(0,0,0.08,0.05)  patches,l_text,p_text=plt.pie([counts[flag[i]] for i in range(len(labels_set))],explode=explode,labels=flag,                               labeldistance=1.1,autopct='%3.1f%%',                               shadow=True,pctdistance=0.6,                               startangle=60, ) #设置x,y刻度一致，饼图才能使圆的 plt.axis('equal') plt.title("《青春有你2》参赛选手体重分布",fontdict={'size':14}) plt.legend() plt.show() 

群里的小伙伴学习氛围也非常好，他们在讨论有没有能够代码量更小的方法。然后我就继续开动脑筋：

""" 另外一种解法，我是通过逻辑关系来做的，有四个区间就遍历了四次，每次将符合条件的置1，每次比较 是 a<= n < b 两个不等式，所以了这里用到相与 筛选出 两个不等式的交集。 这里列表的位置也是对应的区间的位置，所以呢就能根据索引取出相应的区间。   不过后来想想也没必要特意将列表转成了array数组 """ #读取数据 with open(os.path.join(os.getcwd(),"data","data31557",'20200422.json'),'r',encoding='UTF-8') as file:     json_array=json.loads(file.read())#读取json内容 #获取明星的体重并做统计分析 weights=[] for star in json_array:     weights.append(int(star["weight"][0:2]))  flag=['<=45kg','45-50kg','50-55kg',">55kg"] condition=[0,45,50,55,100]  counts2=[] weights=np.array(weights) for epoch in range(len(flag)):#四个区间遍历     n_weight=np.where(weights<=condition[epoch+1],1,0)     n_weight2=np.where(weights>condition[epoch],1,0)     n_weight=np.logical_and(n_weight,n_weight2) #True 的部分是保留     counts2.append(np.sum(n_weight)) #画饼 plt.figure(figsize=(9,8)) plt.rcParams['font.sans-serif']=['SimHei']#显示中文 explode=(0.05,0.08,0,0) patches,l_text,p_text=plt.pie(counts2,explode=explode,labels=flag,labeldistance=1.1,autopct='%3.1f%%',shadow=True,pctdistance=0.6,startangle=60) #设置x,y刻度一致，饼图才能使圆的 plt.axis('equal') plt.title("《青春有你2》参赛选手体重分布",fontdict={'size':14}) plt.legend() plt.show() 

另外一些方法，使用panda库来读取，里面集成了一种方法，能够直接返回元素的个数。总之方法也是挺多的。
效果：

第四天的分类任务，评分指标5张图片预测的正确率。这样为了5张正确折腾了好久，大概有点理解了图片的光照、整体分布、姿势等等对于模型参数训练的影响。哎。（Resnet并不是大法，还是多点尝试下其他模型，想法不要总是被限制住了，【分类先考虑resnet 】）

第五天的综合大作业，我觉得有一定难度，因为爬虫这块我本来就不怎么熟悉。再加上有些事情忙，拖了一天才开始动工，基本群里小伙伴把要踩的出现的坑都全部讨论过了，所以我直接基本就是跳坑而过（有一点想要莫名的笑一下）。

不过也发现自己存在的一些问题 就是 学了就忘，忘了去查，捡了再丢，丢了再捡。以后还是要按个专题整理一下。各位小伙伴也一起加油吧(ง •_•)ง（没有好好喝的鸡汤）