都说现在是大数据时代,那么如何获取自己想要的数据呢?
在数据的江湖里,既有波澜壮阔的大数据(Big Data),也有微波涟漪的小数据(Small Data),二者相辅相成,才能相映生辉。目前大数据流行,人们就“言必称大数据”,这不是做学问的态度,不要碰到大量的数据,就给它戴上一顶 “大数据”的帽子。大数据体现出规律,小数据蕴含着智慧,它们都闪烁着理想之光。
古人云:“圣人见微知著,睹始知终。”道家的一部重要著作《淮南子·说山训》中说:“以小明大,见一叶落而知岁之将暮,睹瓶中之水而知天下之寒。”意思是说,看见一片落叶,就知道秋天来临;看到瓶中水结冰,就知道天气的寒冷程度,这是对见微知著的形象比喻。
吴甘沙先生用《一代宗师》的台词来比拟大、小数据的区分,倒也甚是恰当。他说,小数据“见微”,作个人刻画,可用《一代宗师》中“见自己”形容之;而大数据“知著”,反映自然和群体的特征和趋势,可用《一代宗师》中的“见天地、见众生”比喻之。
大就是大数据,就是全量数据;小就是小数据,就是个体数据。所以,对于数据科学,我们必须在把情况搞清楚的基础上懂得哪些是大、哪些是小、怎样处理大小辩证关系,才能在具体数据应用中做到抓大放小、以大兼小,以小带大、小中见大。在研究小数据时,要以大兼小、以小见大,必须考虑目标的正确性、可操作性和决策的科学性、可行性。在研究大数据时,要抓大放小、以小带大,既要考虑整体共性,又要注重个体特征。这样,数据应用中,大能与小数据量化的自我保持高度一致,小能与大数据预见的未来保持一致,既不能见小不见大,也不能见大不见小。对于数据科学,从数据中来,到数据中去,既要见大,也要见小,以小带大、小中见大,才能真正用好数据。
随着近几年电子商务、移动互联网的迅速发展,人类社会活动的数据量迅速激增,人类正式进入“大数据时代”,我们的一举一动都将在数据的宇宙中留下印记。未来新的科技进步必然离不开以数据为中心的技术,那如何在海量数据中获取自己想要的数据呢?以下,我们罗列出几种方式:
1)企业积累用户数据
我们常见的大型互联网公司,例如:互联网三巨头BAT公司,他们分别掌握着用户的信息型数据、交易型数据与关系型数据。因为其巨大的用户基础,所以他们在获取数据方面本身就存在天然优势。
现在我们也能逐渐感受到一些中小型企业的数据积累意识。比如我们在注册一些应用的时候,软件都会鼓励用户尽可能多的填写相关信息,这些都是企业积累的用户数据,日后对分析用户行为,帮助企业运营、决策,都可能提供参考。
2)爬虫爬取数据
对于大型互联网公司,因为其海量用户和长时间的积累自身就能提供分析的数据,但对于一些刚刚起步的中小企业,培养产品互联网化再积累数据,可能还没有起步就死掉了,这时候爬虫就可以派上用场了,能够根据所需在互联网上定向爬取自己想要的数据。
3)公开数据集
比如中国国家统计局,内含国家经济宏观数据,社会发展、民生相关重要数据及信息等;还有央行、银监会、***、***网、经济数据库、互联网络信息中心发布的数据统计信息。此外权威的第三方机构统计数据网站,例如阿里指数、百度指数、新浪指数、统计网、数据堂等。
4)数据管理咨询公司
哈哈哈哈,泛泛大虾神秘笑四声想知道为什么吗?
好了说下大数据的问题
首先互联网时代的数据有些是公开的,有些是不对外的
泛泛大虾简单举一二例来说
以实际案例寻找商铺为例
可以快速的利用地图工具对外的数据查看周围的交通这个一般人都知道的,但一些地图工具对外公开了大城市的人口流动热力图,什么意思呢,就是你可以利用这个工具查看出你城市的那块流动人口多,人口密集程度,每日外来多少固定多少等,很好的解决了人流问题的大数据问题,当然这个数据不光可以用到开实体店。
再来说说互联网平台吧,今日头条 微信公众号 站长统计工具 各大电商平台等都有很完善的数据统计功能,可根据你要做的事情来选择平台,完了借用这些平台的数据为你所用,重要的是要会分析数据和选择数据
最近泛泛大虾心情很不好,所以开头笑四声让你们以为我很快乐