学大数据的基础知识（大数据技术基础知识）

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。以下是小编为你整理的学大数据的基础知识

正确的数据分析可以帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据，以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策既可以是作业层的，也可以是管理层和策略层的决策。

数据通过提取并进行清理，以保证数据的正确性，然后经过抽取(Extraction)、转换(Transformation)和装载(Load)，即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识)，最后将知识呈现给管理者，为管理者的决策过程提供支持。

促进企业决策流程：增进企业的资讯整合与资讯分析的能力，汇总公司内、外部的资料，整合成有效的决策资讯，让企业经理人大幅增进决策效率与改善决策品质，很大程度上影响了企业的经营和绩效。

降低整体营运成本：改善企业的资讯取得能力，大幅降低IT人员撰写程式、制作报表的时间与人力成本，而弹性的模组设计介面，完全不需撰写程式的特色也让日后的维护成本大幅降低。

协同组织目标与行动：加强企业的资讯传播能力，消除资讯需求者与IT人员之间的认知差距，并可让更多人获得更有意义的资讯。全面改善企业之体质，使组织内的每个人目标一致、齐心协力。

既然数据分析对企业这么重要，借助BI数据分析平台能快速挖掘数据的价值，真正让数据驱动企业经营，比如国内的海致BDP为企业提供的核心价值就是在于用直观、多维、实时的方式展示和分析数据，并可在移动端实时查看和分享，全面激活企业内部数据。

运营场景化

场景由主题和内容构建，需要“做好主题，做实内容”。当前，商场以场内智能化系统来构建“在线”消费场景，消费者必须到达商场才能融入消费场景。大数据的应用则补足了“离线”消费场景，使得商场内容无时差的传达至消费者，最终实现商场流量的最大化和高频化。

大数据对于场景内容的检测和关联分析，为消费者构建更为高效、更具违和感的消费场景，对场外数据的关注，可有效离场唤回及“离线”“在线”场景无缝契合。消费关联也是重要分析点。例如在某购物中心的大数据应用中，超市客群与女装、美食广场互动性较强，吸引力度也较高。通过该类型的数据对比，就能最优的关联相关业态，用数据来发现“谁是优等生”“谁是好邻居”，以构建最佳的业态组合。

构建精准化渠道，首先需要做到深度认知消费者，才能组织有趣的内容;其次，细分渠道入口，不一样的渠道吸引不同的消费客群;第三，活动监测数据的存留与分析，为下一轮的活动做准备和提供决策依据。

商场运营过程中，渠道选择和投放一直以“想当然”的姿态出现。而通过大数据分析“客群特征”，能够抓住目标客群的“痛点”，进而细分渠道，降低损耗和无效推广。此外，大数据对于渠道效果监测也更加准确。

AI导入医疗保健行业维持高速成长

医疗保健行业大量使用大数据及人工智能，从而可以精准改善疾病诊断、医疗人员与患者之间人力的不平衡、降低医疗成本、促进跨行业合作关系。此外AI还广泛应用于临床试验、大型医疗计划、医疗咨询与宣传推广和销售开发。人工智能导入医疗保健行业从2017年到2022年维持很高成长，预计从2017年的6.677亿美元达到2022年的80亿美元年均复合增长率为52.68%。

现阶段手机中主流的ARM架构处理器速度不够快，若要进行大量的图像运算速度仍比较慢，所以未来的手机芯片会内建AI运算核心。苹果将3D感测技术带入iPhone之后，Android阵营智能手机将在明年跟进导入3D感测相关应用。

AI将“大脑”变聪明是分阶段进行，从机器学习进化到深度学习，再进化至自主学习。目前，仍处于机器学习及深度学习的阶段，若要达到自主学习需要解决四大关键问题。首先，需要为自主机器打造一个AI平台;还要提供一个能够让自主机器进行自主学习的虚拟环境，必须符合物理法则，碰撞，压力，效果都要与现实世界一样;然后再将AI的“大脑”放到自主机器的框架中;最后建立虚拟世界入口。

随着物联网时代的来临，未来硅时代是异质性及跨界的整合，同时还有很多需求未出现。以往的摩尔定律已经是旧时代的法则，GPU的计算速率和神经网络复杂性都在过去3到5年内呈现出爆发性成长。

展望未来，随着AI、物联网、VR/AR、5G等新技术的逐步成熟，将带动新一波半导体产业未来30年荣景，其中包括：内存、中央处理器、通讯与传感器四大芯片，各种新产品应用芯片，中国在半导体的庞大市场优势将会在全球扮演关键的角色。

大数据的基础服务 包括传输系统(Flume和Kafka)，计算调度(Yarn和K8S)以及存储系统(HDFS和HBASE)。

大数据平台的配置与运维需求包括：配置管理与资产管理，可监控、可报警;可执行批量作业; 如果还有点期待就是Ai更好。

自动化运维的架构，应该足够简单，开源可修改;解决非专业运维团队的专业运维问题。投入产出比高，架构简单，一个系统迭代容易打造精品。

其中配置管理应该具备多数据中心支持，动态管理的成员关系，基于gossip协议的事件传输。基于轻量型CMDB系统，解决传统CMDB无法动态变更，自动发现，状态探测问题。

批量作业平台，要解决运维中高频的批处理任务，确保到达率很稳定，很可靠;尽量引入原生支持的组件，减少开发的工作量。

DNS一直是基础运维的核心，也是所有业务的重中之重。因此，自动化运维平台要将DNS的服务器及客户端纳入统一的管理。

自动化运维应该让产品、运营轻松掌控海量数据，就像操纵Excel那样轻松;让数据更加开放，让更多人通过数据去决策。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。