roc什么意思(ROC值什么意思)
1。业务逻辑
数据分析遵循一定的流程,不仅可以保证数据分析每一个阶段的工作内容有章可循,而且还可以让分析最终的结果更加准确,更加有说服力。
一般情况下,数据分析分为以下几个步骤:
业务理解,确定目标、明确分析需求
数据理解,收集原始数据、描述数据、探索数据、检验数据质量
数据准备,选择数据、清洗数据、构造数据、整合数据、格式化数据
建立模型,选择建模技术、参数调优、生成测试计划、构建模型
评估模型,对模型进行较为全面的评价,评价结果、重审过程
成果部署,分析结果应用
2。特征工程
包括特征提取、特征构建、特征选择。特征工程的目的是筛选出更好的特征,获取更好的训练数据。因为好的特征具有更强的灵活性,可以用简单的模型做训练,更可以得到好的结果。
3。数据采集清洗采样
1。数据采集
数据采集前需要明确采集哪些数据,一般的思路为:哪些数据对最后的结果预测有帮助?数据我们能够采集到吗?线上实时计算的时候获取是否快捷?
举例1:我现在要预测用户对商品的下单情况,或者我要给用户做商品推荐,那我需要采集什么信息呢?
店家:店铺的评分、店铺类别
商品:商品评分、购买人数、颜色、材质、领子形状
用户:历史信息(购买商品的最低价最高价)、消费能力、商品停留时间
2。数据清洗
数据清洗也是很重要的一步,机器学习算法大多数时候就是一个加工机器,至于最后的产品如何,取决于原材料的好坏。数据清洗就是要去除脏数据,比如某些商品的刷单数据。
那么如何判定脏数据呢?
简单属性判定:一个人身高3米的人;一个人一个月买了10w的发卡。
组合或统计属性判定:你要判定一个人是否会买篮球鞋,样本中女性用户85?
补齐可对应的缺省值:不可信的样本丢掉,缺省值极多的字段考虑不用。
数据清洗标准:
数据的完整性例如人的属性中缺少性别、籍贯、年龄等
数据的唯一性例如不同来源的数据出现重复的情况
数据的权威性例如同一个指标出现多个来源的数据,且数值不一样
数据的合法性例如获取的数据与常识不符,年龄大于150岁
数据的一致性例如不同来源的不同指标,实际内涵是一样的,或是同一指标内涵不一致
3。数据采样
采集、清洗过数据以后,正负样本是不均衡的,要进行数据采样。采样的方法有随机采样和分层抽样。但是随机采样会有隐患,因为可能某次随机采样得到的数据很不均匀,更多的是根据特征采用分层抽样。
正负样本不平衡处理办法:
正样本
花生油的密度是多少知识(一桶5升的花生油会是5公斤重吗?)花生油的密度是多少知识(一桶5升的花生油会是5公斤重吗?)平时都是吃花生油,今天买了一桶5升的花生油,回家称了称,刚好4。7公斤,没想到这桶油缺斤短两。真的是这样吗?其实……
葡萄沟教学反思(葡萄沟精美教案教材分析)葡萄沟教学反思(葡萄沟精美教案教材分析)11。葡萄沟教材分析这篇讲读课文介绍了位于我国新疆吐鲁番的葡萄沟是个盛产葡萄的好地方,那里的葡萄品种多,味道甜,葡萄干……
韩国黑社会电影(韩国高分犯罪电影)韩国黑社会电影(韩国高分犯罪电影)江湖道义,兄弟情谊,恩怨情仇。。。。那么还有哪些好看的黑帮电影呢?今天君君给大家推荐一波。1hr《教父》(1972)……
什么牌子的眼霜比较好(口碑最好的眼霜排行榜)人老先老眼,眼霜的重要性愈加凸显。就算你不熬夜,每天面对着电脑手机,眼周皮肤都会有影响,如何改善眼部问题就显得尤为重要了。而改善眼部问题的一个非常有效的途径就是擦眼霜,可眼霜千……
宽带选哪个(租房装宽带装哪个好)在北京工作,因为疫情的原因,经常出差,回北京后都需要隔离办公,在家传文件太慢了,耽误事儿,被老板劈头盖脸一顿臭骂晚上家里人同时上网的话,网络很卡,玩游戏460,看视频动不动加载……
jsp怎么打开(电脑如何打开jsp文件)Hello,今天给各位童鞋们分享的是JSP,赶紧拿出小本子记下来吧一、课程目标【掌握】servlet注解开发【理解】jsp原理【了解】jsp标签指令……
傻瓜用英文怎么说(傻瓜男孩的英文怎么写)傻瓜用英文怎么说(傻瓜男孩的英文怎么写)1。fillfull。fill为及物动词,表使满,常与介词with搭配,表达被充满使用befilledwith结构。如:……
一个鸡蛋多少蛋白质(100g脱脂奶粉多少蛋白质)前两天,我一直在强调蛋白质对减肥的重要性,但我发现有很多给我发食谱的胖友,蛋白质都吃错了。具体怎么吃错了?我以一个60公斤重的女性举例:早餐:燕麦一只鸡蛋牛奶250……
lonely是什么意思(sunshine是什么梗)A1、abit有点儿abitof后跟名词abitofhouseworkIfeelabitalittlelonelyfromtimetotimebecauseIhav……
平面设计图怎么画(手绘平面设计图)利用计算机辅助路线平、纵设计已日趋成熟,随着测量技术的飞速发展,越来越多的测设部门都开始提供数字地形图。使设计人员无须再在地形图上描线,粘贴等,学习如何绘制平面图是学习cad的……
女士开什么车比较好(女士开什么车比较好1万左右)如今很多地方都在探讨平权问题,尤其是在驾驶领域,经常会有关于女司机的争论,然而开车从来就不是一项只属于男性的权利和技能,在女性能顶半边天的国内,女生和男生一样同样拥有开车的权利……
怎么控制性欲(男生真的很难控制生理需求吗)经常会听到有人说男人是用下半身思考的动物,他们每7秒就会有一次性冲动,也就是说一个男性除了每天睡觉的8小时,在醒着的16个小时内会有8200多次性冲动,而有科学家因为不相信而对……
谷歌眼镜为什么失败(谷歌眼镜5代)在谷歌停售个人版谷歌眼镜,并将开发组从GoogleX分离之后,国内外各种言论迸发,谷歌的战略后退、硬件开发的反面教材甚至谢尔盖的婚外情也成了谷歌眼镜失败的元凶。从两年前的追捧到……
自考有什么要求(自考的门槛)自考是成人继续教育提升的一种主要方式,许多社会在职人员为了可以有更多就业机会,通常会选择自考来提升学历。只是,对于自考新生来说,关于自考的这5件事你必须知道,了解清楚可以……
坎儿井的原理(探秘千年坎儿井的构造原理)坎儿井的原理(探秘千年坎儿井的构造原理)吐鲁番盆地的古代劳动人民为了适应干旱少雨的地理环境,用自己的聪明才智巧妙地利用地形创造了坎儿井。坎儿井将浅层地下水自然地引出地面,……
长春特产有哪些(长春有什么特产小礼物)1、松花江大米在长春十大零食特产里,松花江大米一直都是很出名的,因为那边本身种植条件就比较好,所以很多人在去了长春之后都会想要带一些米给自己家人,这也是很好的一个特产。2……
麻将牌谱(麻将牌谱口诀45条)麻将牌谱(麻将牌谱口诀45条)中盘过后听2、8,牌至后期听边张;这句话的意思就是麻将到了中局后听2、8的牌为好,比如2万、2筒、8条等,带2及8的牌了。牌到了尾部,那就是……
你是哪个国家的(你是哪个国家的英文)第二弹来啦!请签收。(虽然好像并没有人期待)意大利Italy意大利人,意大利语Italian日本Japan日本人,日语Japanese柬埔寨Kam……
科勒橱柜怎么样(科勒厨房台面是什么牌子的)君子美美与共,合而不同。科勒厨房的优雅,也是各有各的独到,或清新、或醇厚、或现代、或古典,满足不同的审美品味。全新玫珞系列(MERLOTT),单取名就能感受设计师的用意,轻轻从……
上海最高大厦多少米(632米的中国第一高楼,有哪些建筑亮点?上海最高大厦多少米(632米的中国第一高楼,有哪些建筑亮点?)你在500多米的高空中俯瞰过上海吗?位于浦东陆家嘴的上海中心大厦可以帮你实现。在这座中国第一高楼里,你可以登……
什么歌好听又流行(现在最流行的歌曲都有哪些)接下来,带大家一起看2020年歌这些熟悉的旋律是否也勾起了你的回忆?第一位影视剧主题曲《想见你》年初的疫情让宅家追剧的朋友有时间感受《想见你》的扑朔迷离剧情,其中歌曲也成……
张一鸣回应TikTok强制出售近日张一鸣回应TikTok强制出售登录了热搜,也是在网上引起了网友们的关注,那么很多小伙伴可能还不清楚具体的情况如何,小编也是在网上查阅了一些信息,那么接下来就分享给大家来了解……
遗失的爱(遗失的爱作文)古斯敏门卫,有一双如鹰眼般的眼睛可以精准的判定女主交往的每一位男士并说出问题所在,如爸爸般的存在用怼怼的方式保护她远离那些坏男人却在她遇到麻烦时毫无保留站在她身边支撑她而数年后……
慈溪舞蹈教师被杀案罪犯被执行死刑近日慈溪舞蹈教师被杀案罪犯被执行死刑登录了热搜,也是在网上引起了网友们的关注,那么很多小伙伴可能还不清楚具体的情况如何,小编也是在网上查阅了一些信息,那么接下来就分享给大家来了……