必备的12个技能分享大数据产品经理需要掌握的技能

文章插图
AI大数据产品经理至少要会以下三个方面的技能。
第一、懂数据
懂数据首先是懂
1）数据工程的内容
例如：采集、存储、清洗、分析、可视化。
其次是懂
2）数据库的基本概念
数据库和数据表，CURD操作：Create、Update、Read、Delete，关系型数据库，非关系型数据库等。
3）数据的结构
例如：地铁数据，静态数据：线路、站点（不一定有时间戳，更新慢），动态数据：刷卡记录（必有时间戳，不断产生），数据存放有一定的规则。
4）数据的类型格式
TXT：纯文本
CSV：逗号分隔值
JSON：键值对
SQL：数据库文件等
第二、懂AI机器学习领域
AI的得以突破发展一方面是因为数据量的爆发式增长，另外一方面得益于机器学习，尤其是深度学习算法的发展。
1）什么是机器学习
研究如何通过计算的手段，利用经验来改善系统自身的性能，通俗来讲，让代码学着干活即为机器学习，而深度学习是机器学习的特例。
2）机器学习的种类
有监督学习：提供标签，分类、回归
无监督学习：无标签，聚类
增强学习：也称强化学习，马尔科夫决策过程（Markov Decision Processes，MDP）
主动学习：边学习边标注
迁移学习：从一个域（Domain）迁移（Transfer）到另一个域
集成学习：Ensemble，三个臭皮匠赛个诸葛亮，Boosting和Bagging
3）机器学习两大痛点
维度灾难：数据量和特征数
过拟合：模型泛化能力
4）机器学习的流程
预处理：数据重塑、缺失值处理（补全、统计为缺失特征）
特征工程：特征没做好，参数调到老。在已有的特征上生成新的特征，数值、类别
特征选择、降维：基于MIC、Pearson相关系数、正则化方法、模型，PCA、tSNE
训练模型、调参：单模型，多模型融合，集成
评估模型：正确率（Acurracy）、准确值（Pecision）、召回值（Recall）、F值、AUC
懂以上机器学习的相关内容视为入门了AI大数据产品经理。
第三、懂数据且能进行AI产品化应用以构建机器学习用户画像产品为例
什么叫懂数据处理且能够进行AI产品化应用呢，下面笔者LineLian一构建用户画像实现大数据机器学习推荐为例来讲综合运用数据、算法和算力的步骤。
（第一步）：建模
1）获取原始数据。例如用到的数据有用户访问系统的行为日志和用户的基本属性，通过采集日志数据，得到用户的行为信息；
2）对数据进行预处理，挖掘出事实标签。对用户数据进行过滤、清洗、简化表示，从用户的基本属性信息可以得到用户的编号、等级、名称、第一次登录时间等，这些信息属于事实标签；
3）分析用户行为信息，构建用户画像的模型标签。通过对用户的行为进行分析，得到用户访问页面和操作的规律，构建出用户的行为模型；
4）通过模型标签进行预测，完善用户画像。根据用户的行为模型可以预测出用户的操作行为。
（第二步）：多维度刻画用户画像
1）：自然属性，比如：用户注册时填写的姓名、性别、年龄、邮箱、电话、职业等。不同属性用户感兴趣的点不同，标签一般比较稳定。
2）：兴趣属性，行为偏好信息，不同时间偏好不同，随时而变！偏好标签挖掘算法有TF-IDF和BM25算法等
3）：地理信息，移动轨迹信息，不同区域用户访问不同服务器

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：

必备的12个技能分享 大数据产品经理需要掌握的技能

必备的12个技能分享大数据产品经理需要掌握的技能