数据挖矿工

⑴ 数据挖掘工程师一般都做什么

数据挖掘工程师是做什么的？

数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣最多、哪个省的女生胸罩最大等，进一步，可以基于用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等能表示一个人的画像，就相当于用这些挖掘出来的属性来刻画一个人，这些还是最简单的东西，更深层次的比如预测（股票预测），但是比较难。

数据挖掘往往与机器学习离不开。比如分类、聚类、关联规则挖掘、个性化推荐、预测、神经网络、深度学习等。

数据挖掘 = 业务知识 + 自然语言处理技术（ NLP ） + 计算机视觉技术（ CV ） + 机器学习 / 深度学习（ ML/DL ）

（ 1 ）其中业务知识具体指的是个性化推荐，计算广告，搜索，互联网金融等； NLP ， CV 分别是处理文本，图像视频数据的领域技术，可以理解为是将非结构化数据提取转换成结构化数据；最后的ml/dl 技术则是属于模型学习理论；

（ 2 ）在选择岗位时，各个公司都没有一套标准的称呼，但是所做的事情无非 2 个大方向，一种是主要钻研某个领域的技术，比如自然语言处理工程师，计算机视觉工程师，机器学习工程师等；一种是将各种领域技术应用到业务场景中去解决业务需求，比如数据挖掘工程师，推荐系统工程师等；具体的称呼不重要，重要的是平时的工作内容；

PS ：在互联网行业，数据挖掘相关技术应用比较成功的主要是推荐以及计算广告领域，而其中涉及到的数据主要也是文本，所以 NLP 技术相对来讲比较重要，至于 CV 技术主要还是在人工智能领域（无人车，人脸识别等）应用较多，本人了解有限，相关的描述会较少；

数据挖掘岗位需要具备的3 种基本能力

1. 工程能力

（ 1 ）编程基础：需要掌握一大一小两门语言，大的指 C++ 或者 Java ，小的指 Python 或者 shell 脚本；需要掌握基本的数据库语言；

建议： MySQL + python + C++ ；语言只是一种工具，看看语法就好；

推荐书籍：《 C++ primer plus 》

（ 2 ）开发平台： Linux ；

建议：掌握常见的命令，掌握 Linux 下的源码编译原理；

推荐书籍：《 Linux 私房菜》

（ 3 ）数据结构与算法分析基础：掌握常见的数据结构以及操作（线性表，队，列，字符串，树，图等），掌握常见的计算机算法（排序算法，查找算法，动态规划，递归等）；

建议：多敲代码，多上 OJ 平台刷题；

推荐书籍：《大话数据结构》《剑指 offer 》

（ 4 ）海量数据处理平台： Hadoop （ mr 计算模型， java 开发）或者 Spark （ rdd 计算模型， scala开发），重点推荐后者；

建议：主要是会使用，有精力的话可以看看源码了解集群调度机制之类的；

推荐书籍：《大数据 spark 企业级实战》

2. 算法能力

（ 1 ）数学基础：概率论，数理统计，线性代数，随机过程，最优化理论

建议：这些是必须要了解的，即使没法做到基础扎实，起码也要掌握每门学科的理论体系，涉及到相应知识点时通过查阅资料可以做到无障碍理解；

（ 2 ）机器学习 / 深度学习：掌握 常见的机器学习模型（线性回归，逻辑回归， SVM ，感知机；决策树，随机森林， GBDT ， XGBoost ；贝叶斯， KNN ， K-means ， EM 等）；掌握常见的机器学习理论（过拟合问题，交叉验证问题，模型选择问题，模型融合问题等）；掌握常见的深度学习模型（ CNN ，RNN 等）；

建议：这里的掌握指的是能够熟悉推导公式并能知道模型的适用场景；

推荐书籍：《统计学习方法》《机器学习》《机器学习实战》《 UFLDL 》

（ 3 ）自然语言处理：掌握常见的方法（ tf-idf ， word2vec ， LDA ）；

3. 业务经验

（ 1 ）了解推荐以及计算广告相关知识；

推荐书籍：《推荐系统实践》《计算广告》

（ 2 ）通过参加数据挖掘竞赛熟悉相关业务场景，常见的比赛有 Kaggle ，阿里天池， datacastle 等。

想要学习数据挖掘的话可以看一下这篇文章《AI时代就业指南：数据挖掘入门与求职》

⑵ 豆瓣的数据挖掘工程师工资多少

有朋友去了滴滴打车，年薪15（月）乘15（万），也是研究生，当然也跟个人能力有关，不过这几个朋友学得都是大数据，浙大毕业，最少的一个月也8000+，但她不满意这个工资最近辞了，正在找更高薪水的工作，所以我觉得你可以多找些信息。最终要的是还是个人能力，得有一项比较好的技术。这个专业应该挺挣钱的。。。

⑶ 数据分析师和数据挖掘工程师的区别

我们先来了解一下两者的区别。
一、意义不同
数据分析师 是数据师Datician的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。
算法(Algorithm)是一系列解决问题的清晰指令，也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。算法工程师就是利用算法处理事物的人。
二、薪资不同
数据分析师的职位平均工资大约在￥9086;算法工程师职位平均工资水平(元/月-税前)大约在￥1200之上。
数据分析师和算法工程师哪个难?由上可知算法工程师比数据分析师要难学。此外,企业对于数据分析师的技能要求很高，具体要求如下：
1、懂业务。
从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有自己独到的见解，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。
2、懂管理。
一方面是搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识来指导，如果不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另一方面的作用是针对数据分析结论提出有指导意义的分析建议。
3、懂分析。
指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，以便有效地开展数据分析。基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
4、懂工具。
指掌握数据分析相关的常用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，我们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮我们完成数据分析工作。
5、懂设计。
懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都需要掌握一定的设计原则。重要作用。
算法工程师需要掌握的技能
1. 编程：PYTHON,JAVA,C
2. 数据结构与算法
3. 机器学习算法
4. PAPER阅读能力
5. 造轮子的能力
对于算法工程师，有别于数据挖掘工程师的第一个区别就是对于传统的算法和数据结构的要求。 我自身不是计算机科班出身，在我工作的第一年压根没有接触过这一块，也从没打算去学这一块。 我第一次知道数据结构和算法的时候是去面试一家英语流利说的公司，当时面试官让我写一下斐波那契数列的伪代码，我听都没有听说过，于是面试官又让我写一下如何从一组数列当中最快的寻找出中位数，我依旧不知所措，因为平时都是习惯用函数，还从没想过真正的实现方式是怎样的。面试官很疑惑也很遗憾的当场就对我说：我觉得你可能不适合我们的岗位。
数据结构和算法应该是必备的技能，算法工程师应该对用常用的知识点有深入理解，能够在面对不同项目场景的时候灵活选择数据机构和算法。
第二点是机器学习算法，这个地方肯定会比之前的数据挖掘算法要求高很多。除了常用机器学习算法能够手推之外，还要对算法本身有更深入的思考。我记得我面试阿里的时候面试官抛出这么几个问题，说如果boosting算法不使用决策树，而使用SVM会怎样，或者说每一轮迭代都使用不同模型，比如第一次是决策树，第二次是SVM，那么会怎样？ 还有一个就是logistic regression这些算法为何没有使用ada,mone这些方法，能不能用？有什么优缺点等等。

⑷ 数据分析师和数据挖掘工程的区别是什么

数据分析师和数据挖掘师差别还是比较明显的（严肃脸），数据分析师更偏向于业务方面的分析，而数据挖掘工程师则更偏向于技术，也就是我们常说的编程。

这就是数据分析师和数据挖掘工程师的区别。但是，无论是数据分析师，还是数据挖掘工程师，本质上就是利用数据，创造价值，这个基本点是不会缺乏的。

⑸ 数据分析师，数据挖掘师，大数据工程师，三者的工作有何区别

1、“数据分析”的重点是观察数据，而“数据挖掘”的重点是从数据中发现“知识规则”KDD（Knowledge Discover in Database）；
2、“数据分析”得出的结论是人的智能活动结果，而“数据挖掘”得出的结论是机器从学习集（或训练集、样本集）发现的知识规则；
3、“数据分析”得出结论的运用是人的智力活动，而“数据挖掘”发现的知识规则，可以直接应用到预测。
4、“数据分析”不能建立数学模型，需要人工建模，而“数据挖掘”直接完成了数学建模。如传统的控制论建模的本质就是描述输入变量与输出变量之间的函数关系，“数据挖掘”可以通过机器学习自动建立输入与输出的函数关系，根据KDD得出的“规则”，给定一组输入参数，就可以得出一组输出量。

⑹ 数据挖掘是什么工作呢

数据挖掘指的是在长期积累的数据中分析和挖掘有价值的信息以供决策。这个概念主要还是因为ERP（企业资源计划）和OA(办公自动化)软件系统的广泛使用和发展的基础上出现的一个概念。因为企业在使用这些软件系统的过程中，虽然运营的状态和管理以及成本有很大的节约，大大提高了企业的运营效率，可是这些系统却只能对企业的状态和管理进行一个状态性的记录，对长期记录下来的这些数据的分析和在挖掘能力是非常有限的，虽然众多软件供应商想出各种办法来利用其这些数据，比如出各种报表甚至自定义的报表，可是仍然受制于ERP和OA本身设计的缺陷，因为它们原本就不是设计来做数据分析的。 所以在我们的软件系统实施的过程中，常常看到一个庞大的系统在运行，可是对于领导却只有每月看一两张报表的价值。所以，有人提出了数据挖掘的概念，长期使用ERP系统所积攒的数据就好像一大筐苹果，金苹果、银苹果、烂苹果都有，而数据挖掘工程师就是专门从中挑选出对企业有用的信息的工作。当然数据挖掘软件也是专门设计来做这个事情的。

⑺ 数据挖掘一般来说薪水是多少啊

有人说数据挖掘就是早上的阳光 总会有照耀天下的时候， 前途是无限光明的！ 这是我在网上帮你找到的一点资料 ，希望对你关心的工资问题有点帮助，薪水是和工作能力有关系的 真的， 就算刚进公司能得到高薪水 要是实际能力差 最后也会被贬值的！ 如果有真本事，就不会害怕工资的问题了。所以，你还是加油努力学习吧，提高自己是最大的根本！

全球最大的数据挖掘信息网站KDnuggets现在正进行着一个调查。调查者需要填写annual income(in US$)/ status and region。共有122份年薪结果和114份工作区域结果（截至2006.3.6 16:32:00）调查结果见下图。http://blog.csdn.net/kdnuggets/archive/2006/03/06/617025.aspx

从区域调查结果可以显示现有的数据挖掘从业人员大多集中在北美和西欧（填写区域信息一共114人次，其中北美和西欧一共87人次，占76.3%；北美63人次，占55.3%；其他地区的都不到10%。图中显示的结果与这里的计算有些不同），其他地区的从业人员比较少。数据挖掘起源于美国，现有的研究比其他地方都要先进很多年，到现在国内的一些研究比以前有很大改观，国内的数据挖掘研究者在高档国际会议上文章的发表量在逐年在增加，但是相比而言还是有很大差距。国内的应用更加滞后。美国FBI，CIA已经使用这种技术来进行反恐（
C

⑻ 数据挖掘工作的要求是什么

数据挖掘工作是一个要求比较高的工作，这是由于数据挖掘是为数据服务的，因此必须做到万无一失才能使得结果符合真正的客观实际，那么数据挖掘工作的要求都有哪些呢？下面我们就给大家解答一下这个问题。
首先我们给大家讲一讲对数据的要求。由于大多运营商现有的面向事物的数据在质量、完整性和一致性方面存在很多问题，因此在利用这些数据进行数据挖掘之前，必须先对其进行抽取、净化和处理。
那么数据挖掘工作对人员素质的要求是什么呢？统计数据挖掘分析系统必须与实际紧密相联，在数据挖掘的多个环节中，都要求使用和分析人员不光具备数据挖掘的相关知识，还必须有对企业经营管理流程和行业背景的深刻理解。统计数据挖掘存在较长的应用周期，数据挖掘所发现的知识和规则必须让决策者理解并采纳，才能将知识转化为生产力，并通过实践不断检验和完善数据挖掘所产生的模型和规则，以使模型更具实用价值。
就目前而言，正随着社会经济的日益发展和改革的不断深入,无论是各级政府,还是社会公众对统计工作的要求越来越高。因此,作为统计工作的重要组成部分的统计分析工作,也必须跟上时代发展的步伐,切忌时效性和针对性不强、数字文字化、结构不严谨等问题,那么如何解决或避免出现这些类似的问题呢？具体的要求就是下面的内容。
第一就是坚持实事求是的原则要发挥统计分析的作用,很重要的一条就是要坚持实事求是的原则,如实反映情况,否则,统计服务、统计监督都只会成为一句空话。要如实反映情况。第二就是统计数字要准确,统计分析是用统计数字做为主要依据的,只有正确的统计数字,才有可能得出符合实际的结论。第三就是要尊重客观实际,切忌主观臆断,要有全局观点,切忌片面性,统计信息要具有代表性,能反映社会经济运动本质特征及其变化。第四就是紧扣社会和经济发展的主旋律,突出时代特色由于统计分析的主要服务对象是各级党政领导,因此,统计分析在立意和内容方面,必须牢牢把握社会经济发展的主流,紧紧围绕党和政府的中心工作开展分析。
通过这篇文章我们给大家介绍了数据挖掘工作的要求的相关内容。数据挖掘是一项对从业人员的素质有超高要求的工作，正是由于这些要求，数据挖掘工作才有了很大的进展，只有满足了这些要求，我们才能够做好数据挖掘工作。

⑼ 数据分析师和数据挖掘工程师的区别是什么

数据分析师岗位重在“分析”，数据挖掘工程师岗位重点是要“挖掘”。

⑽ 数据挖掘工程师是干什么的

数据挖掘指的是在长期积累的数据中分析和挖掘有价值的信息以供决策。
这个概念主要还是因为ERP（企业资源计划）和OA(办公自动化)软件系统的广泛使用和发展的基础上出现的一个概念。因为企业在使用这些软件系统的过程中，虽然运营的状态和管理以及成本有很大的节约，大大提高了企业的运营效率，可是这些系统却只能对企业的状态和管理进行一个状态性的记录，对长期记录下来的这些数据的分析和在挖掘能力是非常有限的，虽然众多软件供应商想出各种办法来利用其这些数据，比如出各种报表甚至自定义的报表，可是仍然受制于ERP和OA本身设计的缺陷，因为它们原本就不是设计来做数据分析的。