首页   注册   登录
 user919lx 最近的时间轴更新

user919lx

V2EX 第 230654 号会员,加入于 2017-05-14 22:26:20 +08:00
今日活跃度排名 16034
user919lx 最近回复了
@wangmou20 让负责人看过简历了,过一段时间会有 HR 联系你,我一会加你微信详聊一下
base 哪里?我司有商业分析岗,在深圳
楼主想要高工资的话,可以去投猿辅导,他们给实习生开的工资能达到 1000/天。全职肯定不会只给做 4 个月的。
再增加一张增长率表。

数值稳定就是增长率绝对值小于 a

峰值的话,如果只是检测突增、突减,就看增长率绝对值 是否大于 b。如果需要看两边,则需要在增长率表上做滑动窗口计算

增加、下降的趋势,这个你可以设定滑动窗口,在窗口内做个线性回归就好。

其实方法很多,灵活应用吧。
去找实习,去和更多的人接触,交流。自己一个人闷着想只会越来越自闭,也无法解决问题。个人的亲身经历,我读书的时候也对前途特别迷茫,也就开始干活之后才在工作中找到了方向。
听力问题的话还是建议花点钱配一副助听器,毕竟工作交流还是很重要的。
95 天前
回复了 anyV 创建的主题 求职 本硕 985 应届生,求职解惑
@anyV base64 解码
95 天前
回复了 anyV 创建的主题 求职 本硕 985 应届生,求职解惑
我就是学统计学的,现在在做数据工程师,感觉还不错。


首先不建议你做 Java 开发,完全发挥不出自己统计学专业的优势,建议还是走数据领域。


就我自己的个人体验,以及对同事们的观察来说。如果你在学校的时候有认真学习的话,统计专业在数据工作上的优势非常明显。你会对数据有独特的敏感性,无论是做开发还是分析都很有优势,学习各种算法和模型,效率也比其它专业的人更有优势。
在求职上的优势也非常明显,统计专业强校,即使你什么都不会,面试官也会愿意给你一个机会,因为他相信你的专业和学校,这都是我自己的切身体会,我当初入行的时候,面试时连简单的 SQL 题都没写对,还是拿到了 offer。


然后说说该做数据领域里的哪个职位。
现在市面上的数据岗位有这么几种:
数据分析师
数据科学家
算法工程师
数据工程师
大数据工程师
爬虫工程师

初级数据分析师待遇不高,而且由于入行门槛最低,竞争也最激烈。所做的事情主要是给业务部门取数、扯皮等等,想要做分析的话得看你的部门职能还有 leader 给不给机会,最重要的是 SQL 和 Excel 用得好,Python 掌握得好也是加分项。最不推荐,但实在没办法了也可以做,你的专业优势能让你很容易拿到 offer,数据驱动的理念越来越深入人心,许多公司都会提供相应的坑位,努力一把还是能找到的工作,只是可能待遇通常都不太令人满意。

数据科学家,比数据分析师的 level 更高一些,你会有机会做一些算法和模型。面试的要求通常会比较高,而且由于每家公司的需求不一样,问的问题会非常杂,覆盖面很广,基本没法提前针对性准备。这个岗位最难的是过面试关,你要是能拿到 offer,待遇通常都不会太差,做的事情也很有挑战性,很有趣。有些公司可能挂个数据分析师的岗位但要求是数据科学家的,这个只能自己看看 JD 了。

算法工程师,需要你深入了解机器学习算法,最好能发几篇相关领域的论文啥的。待遇没得说,同数据科学家一样,难在面试。如果你在学校的时候没有深耕,就不建议投这个岗位了。

数据科学家和算法工程师这两个岗位,都是高薪、高挑战的岗位,面试也非常难。而且这些岗位成本高,又缺乏落地方法论,所以通常来说坑位偏少,加上高薪吸引大量人才,你面对的竞争最为激烈。数据分析师是人多,但你仍然有优势。而在这两个岗位上,你将面对各种 985 以上的优秀人才的竞争,自己估量一下吧。而且数据科学家对经验的要求同样很高,许多公司都只想招有经验的人,初级岗位很少,比较常见的是数据分析师升上来或者从别的岗位转过来的。


数据工程师,也就是我的岗位,日常主要是做 ETL,数据仓库建设,基础设施运维等等。工作内容繁杂枯燥。需要维护 ETL 定时任务,所以每天都得看一眼监控,遇到任务出错也和运维一样需要及时抢修,大数据文摘翻译过一篇文章《数据工程师的没落》,对这些情况讲得很清楚了。
需要的技能就是 SQL、Python 以及各种开源软件的使用( Hive、HBase、Spark、Kafka、Airflow 等等)。要做好这个工作,除了数据处理能力,还需要能理解各种算法模型,因为会需要帮助数据科学家把算法工程化。
待遇就是一般的研发工程师水平,比算法工程师和数据科学家低,比数据分析师高。竞争激烈程度不高,因为很多编程好的人没有数据 sense,有数据 sense 的人编程不一定行,就算编程还可以,一般也是优先考虑数据科学家。
坑位很多,毕竟要搞数据驱动的话,必然需要人手来建设数据仓库的,在很长一段时间内,都会是一个必不可少的角色。

大数据工程师,偏底层运维性质,主要是维护大数据集群和相关服务,以及基于开源生态做二次开发。很多公司会把这个和数据工程师混淆,自己看 JD 判断吧。这个岗位需要对开源生态很熟悉,了解底层知识,阅读过源码。待遇和数据工程师类似,坑位主要是大公司有,中小公司一般是数据工程师兼任这部分职能,只有大公司才会有定制化开发的需求。开源组件基本能满足大部分数据需求了,所以实际上岗位需求比较有限。

爬虫工程师,需要对爬虫知识有全面的了解,这里也不多谈。有爬虫需求的公司很多,但需求一般都不会强到单独设置爬虫岗位,都是其它岗位的人根据需求临时开发一下。坑位是非常非常少的,大公司也不一定有。


综上来说,你觉得自己能力强就去拼一把数据科学家和算法工程师,要是能拿到 offer,待遇通常不会差。
如果觉得自己竞争不过,就去试试数据工程师吧,需要的知识技能比较固定,面试很好准备,面试官也很青睐统计学这个专业。
保底的选择就是数据分析师,相信我,凭着这个专业,无论怎样你总能找到一份工作的,如果你不满意待遇和前景,可以先做着积攒经验,以后找机会再跳槽就行了。数据领域的工作,岗位边界其实并不明确,如果你愿意,完全有机会在完成本职工作之后申请干点别的事。

大数据工程师、爬虫工程师,如果你没有相关经验,就不推荐了,现在来不及准备。



最后,我们公司正在招人,base 深圳。数据科学家、算法工程师( NLP )、数据工程师、爬虫工程师都有需求。
我们是一家 ToB 的数据服务公司,拥有爬虫、数据清洗、挖掘数据价值的全链路数据能力,服务的公司有好几个全球知名的快消品巨头。

有兴趣的话加我微信了解详细情况 dXNlcjkxOWx4
按照你的需求, 部署 Airflow 配置个 LocalExecutor 就足够满足了。

1. 写一套东西,以后添加新定时任务的时候直接扔代码和运行配置
Airflow 的任务是用 Python 写的,你完全可以写成动态的形式,可以通过读取数据库或者 csv 文件来动态生成定时任务,事实上我在实践中经常这么用。

2. 能够出错重试,然后对结果啥的能进行查看
Airflow 提供 Web UI 界面,可以查看每个周期下的 task 的运行状态,还有完整的信息(执行时间、重试次数、运行日志等等),出错自动重试,可以发送邮件,并且有按钮能让你重试任务,连 ssh 登陆服务器都不需要。
我是做数据开发的,需要处理大量的定时任务,还有重重复杂的依赖关系。
很推荐用 Airflow,已经有非常多的公司在使用这个调度系统了,就调度这件事而言,我觉得它提供的功能已经非常全面了,足够满足你的需求。
如果觉得官方文档比较难懂,可以参考我写的几篇博客,http://longfei.leanote.com/cate/bigdata 不过我这几篇都是概念和使用方法。如果你要想了解如何安装部署,要么看官方文档,要么就搜一下网络上的教程。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3769 人在线   最高记录 5043   ·  
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 10ms · UTC 07:34 · PVG 15:34 · LAX 00:34 · JFK 03:34
♥ Do have faith in what you're doing.
沪ICP备16043287号-1