头条新闻

二胎政策,我从腾讯那“偷 了”3000万QQ用户数据,出了份很风趣的独家陈述,军武次位面

两周前,做的一个项目需求仿照一批用户点评数据,假如想让数据看着实在点,那就得运用随机的用户昵称和头像啊。要是头像或许昵称全都差不多,那别后舍男生不得不爱人一看就看出来这是做的数五旗龙之家据了。

于是乎我就写了个从我QQ空间开端的蜘蛛网式的爬虫程序,程序时断时续的运行了两周。一共爬到了腾讯3000万QQ数据,其间有300万包括用户(QQ号,昵称,空间称号,会员等级,头像,最新一条说说内容,最新说说的宣布时刻,空间云南啄嘴山歌酸调对骂简介,性别,生日,地点省份,城市,婚姻状况)的具体数据。

现在现已爬到我的第7圈老友(depth=7)共3000万数赫玉娇据,现在的瓶颈在家里的网速和电脑的装备上。最快的时分爬取速度到达一天500W新Q数据。

没图,我说个毛线啊!

现在数据量为2G左右。 二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面

再看看,我依据这份数据生成的一些幽默的核算图(数邓紫霄爷爷据量太大了一次加载到内存中直接报内存不够了,所以下面的核算数据只取了depth值小数据较完好瑞典拉普杭犬约80W的数据)杨绛为什么不提杨伟成:

内存现已爆了,不能怪我。谁资助台服务器吧~~

咱们一般都在啥时分发说说呢?

从图中看出一天最冷门的时分是清晨4点,这时全国正在睡觉的人最多。驭龙者束衣咱们最兴奋的是晚上10点到11点,二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面人们都喜欢睡前看看他人的空间,发条说说。正午12点左右也有一波小顶峰

一会我再核算张我国人习气几点起床,几点吃饭,几点睡觉的图吧

我国人都喜欢在几月生小孩呢越南斑兰糕?

最抢手的是1月份和10月份,最冷门的是4月份。10月份生小孩的多好理二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面解,一年忙差不多了,气候也不冷不热正是生小孩的好时分。但1月份最高且和2月落差很大有点欠好了解,那么冷的天然生成不怕冻吗?我估量是1月份也快春节了,曾经没聚一同的十分困难聚一同了,就简略激动,激动就啪啪啪。 4月份生日的最少也好了解,我国人不喜欢4这个数字呗。大数据有意思吧!!我觉得太好玩了,后边还有许多呢。

这是我现在爬取的用户地点地散布

你能猜出我是哪的了吗?前四名分别为:广东,湖南,四川,江苏。没错,我便是湖南的!湖南人在广东打工的超级多,这也能了解为什么广东排名榜首了。江苏是我上学的当地,有点琢磨不透的是四川和我非情非故的竟然二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面排第3名,我的朋友们,你们是谁播的种?站出来!还有一种或许,四川人外交才能全国榜首,我平常在重庆小面吃饭,四川人的确特别,说话语速那个快啊,腔调那个高啊。受不了!

数据人群的年纪散布

一不小心就暴漏了我的年纪,没错。我便是那个最高值的1990年;从现在的数据来看,无论是散布区域以及年纪阶段与我的相关还十分大,跟着数据量的不断添加这种相关会逐步变小,核算图也会逐步挨近全国用户的实在情况。真想弄几台服务器分中经堂靠谱吗布式搞起,估量一周就能爬上亿的简略数据。单靠我的笔记本和家里超烂的网速到达这个方针还很远。

数据人群性别散布

男比女足足多了23%的人数,我包山大冢剖析以为实践差问酒谢花距应该是不大的,但女生在设置QQ空间拜访权限时遍及要比男生的高。所以我爬取的数据中男生居多。

下面系列图是依据一些“关键字”在说说中呈现的频率核算出来的,适当有意思。

图说股市

在知乎“能使用爬虫技能做到哪些很帅很幽默很有用的工作?”有一个google实习的哥们@Emily L爬了400亿条tweet也做了许多幽默的分,其间说到一篇关于使用twitter上人的心境来猜测股市的论文()很有意思。另附我在二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面该问题下的答案“用爬虫监测她(他)的知乎动态”,仅做技能玩乐,求别再喷我鄙陋了。

假如当咱们具有海量的QQ空间最新说说,和sina微博数据。我想,用它们来做一些股市或许其它方面的剖析猜测是可行的,准确度应该也是十分高的。我接下来或许会考虑去做这件幽默的工作。

将股票中的关键字做海量数据剖析,比方会得出当日评论股票排行榜。进而能得到海量评论股票的用户,再经过商场的实践反应找出股票上涨及跌落的正相关因子,再对这些海量用户进行剖析核算得出最靠谱股票引荐大神排行榜。对这些用户分级,分优王学丰判定先度及抓取密度来拿数据。用这些数据剖分出哪些是靠谱的股票必定靠谱。二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面

大众评论最多的明星排行榜,仍是很靠谱的。

另附我抓的明星QQ号吧,纯属文娱,自辩真假。有些空间的确有许多日子私照。

张杰QQ:419998

花千骨的赵丽颖QQ:427794

谢娜QQ:500746

杨幂QQ:456773

范冰冰QQ:88597

周杰伦QQ:332661

最为用户喜欢的手机品牌

人们最喜欢议论的互联网公司,阿里之所以这么低估量是咱们都喜云霄漳江论坛欢叫它淘宝或许天猫吧。取这么多姓名,自讨苦吃。

QQ空间中评论的最为频频的交际渠道排行榜。

日子的核算图

爱>恨;高兴>悲伤; 笑声&美宣超话gt;叹息声;吃货许多;谁特么说我国不幸福了,这满满的都是正能量数据啊。

好了,其实还能够做许多其它的剖析。假如咱们有什么幽默的数据剖析想知道的,那就给我留言吧。

技能不多说了,程序不难,多线程数据库操作却是把我搞苦了。还好,ideapocket现在程序差不多安稳了。进程也是很有意思的,有空我再写个程序晋级进程中的那些趣事吧。我觉得一个美好的程序一定是高度仿照实际的,就像飞机仿照蜻蜓,雷达仿照蝙蝠相同。这次的程序设计便是仿照的工厂的生产线。附个设计图吧。

作者:hi@wuxinsheng.com

来挤人奶源:博客园

原文地址: http://www.cnblogs.com/cinser/p/4656386.html

互联网人士必备微信大众号:woshipm,雷童颜妈妈军和周鸿祎都重视了,假如你现已重视了,网上订货吸脂素证明你现已很二胎方针,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,军武次位面牛逼了。

推荐新闻