-
Hadoop、Spark、Hive究竟是什么，做算法要不要学？
所属栏目：[大数据] 日期：2021-11-24 热度：152
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。 显然，这样的想法是有问题的，如果真这么干，即使通过了面试成[详细]
-
Excel函数公式：制止在Excel单元格中输入空格，你真的会吗？
所属栏目：[大数据] 日期：2021-11-24 热度：55
Hello，大家好，今天给大家分享的内容是：禁止在Excel单元格中输入空格的技巧看到这个标题，相信大家都有所感触，都被空格坑过，那在数据处理和分析的过程中，如何避免空格了?其实，最根本的方法还是【数据验证】，但是，需要借助两个函数来实现。 一、Len函[详细]
-
Flink执行流程与源码解析
所属栏目：[大数据] 日期：2021-11-24 热度：189
ink执行流程与源码分析 整体的流程与架构可能三两张图或者三言两语就可以勾勒出画面，但是背后源码的实现是艰辛的。源码的复杂度和当初设计框架的抓狂感，我们只有想象。现在我们只是站在巨人的肩膀上去学习。 作者： 王了个博 来源：大数据左右手|2021-09-08[详细]
-
一篇学会了Hadoop3数据容错技术
所属栏目：[大数据] 日期：2021-11-24 热度：190
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数[详细]
-
大数据的数据整治与应用场景
所属栏目：[大数据] 日期：2021-11-24 热度：198
医疗大数据治理 医疗大数据的采集及管理、分析等环节的统称，目的是妥善管理有用的数据并从海量数据中挖掘价值。 02医疗大数据采集及管理 目前，医疗数据大多散落在各个系统，碎片化、低质量、孤立分类、类型多样、标准不一，而优质的数据采集手段可以实现异[详细]
-
如何使用技术解决方案做出数据驱动的决定
所属栏目：[大数据] 日期：2021-11-24 热度：72
数据驱动决策(DDDM)是一种基于可量化目标或关键绩效指标(KPI)的方法，可以收集信息、从发现中评估模式和事实，并以各种方式实施有利于企业的战略和行动。一般来说，数据驱动的决策需要依靠经过验证和研究的数据，而不是利用未处理的数据来实现重要的业务目标[详细]
-
大数据集群开始 kerberos 认证后 Hive 作业执行失败
所属栏目：[大数据] 日期：2021-11-23 热度：110
大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： Failed to create spark client for spark session xxx: java.util.concurrent.TimeoutException: client xxx t[详细]
-
因HIVE元数据与HDFS上的数据不一致引起的问题修补
所属栏目：[大数据] 日期：2021-11-23 热度：143
客户端报错如下： Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志，可以看到如下相关信息： 2021-09-01 11:47:46,795 INFO org.ap[详细]
-
简谈大数据风控平台的功能需要
所属栏目：[大数据] 日期：2021-11-23 热度：186
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗[详细]
-
数据研发，如何平衡效率与质量
所属栏目：[大数据] 日期：2021-11-23 热度：68
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶[详细]
-
浅谈人工智能、大数据等技术在交通行业的应用
所属栏目：[大数据] 日期：2021-11-23 热度：54
我们将浅谈一下人工智能、大数据、云计算、物联网等技术将会给交通行业带来哪些便利与变革： 1.数据资源整合 由于我国线路众多，与交通相关的绝大多数部门都有自己的信息化平台，并产生着海量数据，但是现在的每个部门及单位内的系统平台大都是独立的，信息与[详细]
-
时代大数据安全和隐私
所属栏目：[大数据] 日期：2021-11-23 热度：91
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。 大数据已经严重影响了经济运行机制、社会生活方式和国家治理能力，需要从大安全的角度认[详细]
-
从技术视角看大数据行业的发展走势
所属栏目：[大数据] 日期：2021-11-23 热度：156
关于该趋势，明哥在前期发布过一篇博文，大数据与云计算深度融合的趋势体现在哪些方面? 对该趋势做了自己的解读，这里再次简要描述下。该博文链接如下: 大数据与云计算深度融合的趋势体现在哪些方面? 云原生(Cloud Native)理念，本质上是一套利用云计算技术为[详细]
-
Hdfs 相对路径和静态代码块引起的问题
所属栏目：[大数据] 日期：2021-11-23 热度：183
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员[详细]
-
大数据时代，移动联通大数据技术的价值，你知道了多少
所属栏目：[大数据] 日期：2021-11-23 热度：139
大数据时代，移动联通大数据技术的价值，你掌握了多少 大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化的[详细]
-
大数据与云计算之间的联系
所属栏目：[大数据] 日期：2021-11-23 热度：189
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述 数量数据量 种类不同类型的数据 速度系统中的数据流率 价值 基于其中包含的信息的数据价值 准确性 数据保密性和可用性 云计算以按需付费的[详细]
-
公司将是否会相信他们的沟通到A.I.聊天？
所属栏目：[大数据] 日期：2021-11-23 热度：106
旧金山 - Facebook表示，聊天人员将改变企业与客户沟通的方式，但企业将希望将其用户通信掌握在人工智能的手中？ Gartner分析师的分析师Brian Blau表示，他们重新成为一个强大的工具，而是他们也很大的风险。A.I.可以是一个非常强大的技术。企业将不得不了解[详细]
-
由于对超超快的需求，BT规划众多农村FTTP挖掘
所属栏目：[大数据] 日期：2021-11-23 热度：119
BT的ARM的基础设施业务OpenReach重申了致力于扩展国家超快宽带推出的致力于使用G.Fast和Fired-to-Firpises（FTTP）递送技术，并表示将开始农村FTTP认真挖掘。 BT先前致力于使用某种形式的超超宽带击中1200万个地区 - 这意味着能够提供100Mbps及以上的下载速度[详细]
-
在数字时代，客户身份是主要
所属栏目：[大数据] 日期：2021-11-23 热度：64
根据一位身份证行业的资深人士，当企业通过数字渠道向客户和合作伙伴与客户和合作伙伴联系时，身份是为业务流程的背景提供关键。 身份对认识客户来说也很重要，承认与他们的关系，并在所有渠道中制作这一致，康拉拉倡议认同关系管理工作组编辑的Ian Glazer表[详细]
-
氦气和新的物联网环境传感器变绿
所属栏目：[大数据] 日期：2021-11-23 热度：104
最大的名称为启动氦气，这是2013年开始的东西公司的互联网，已经拥有联合创始人肖恩突袭。 当然，扇动是开发了Napster的串行企业家，开始了其他公司。但氦气通过从其软件开端扩展到迎来传感器，软件和云服务的IOT的软件开端来制作名称。其目标是通过将传感器[详细]
-
OFCOM揭晓了光纤宽带的管道和极点分享建议
所属栏目：[大数据] 日期：2021-11-23 热度：81
Telecoms Rendator Ofcom向其建议提出了许多调整，以使通信服务提供商（CSP）能够利用属于BT OpenReach的管道和极端基础设施来构建自己的超快宽带网络。 如前所述，监管机构希望竞争对手CSPS更快，更容易使用BT拥有的现有杆和管道，将自己的光纤网络直接直接[详细]
-
Quantum Computing现在越来越大，因为这种新的突破更接近
所属栏目：[大数据] 日期：2021-11-23 热度：159
由于科学家们证明可以组装钥匙构件块的重大突破，量子计算在更近的范围内。 量子计算机基于原子级量子位，或Qubits，其可以同时表示0和1，并且预计它们会通过传统计算机提供巨大的性能。然而，意识到潜力取决于构建工作量子电路的能力。 这是弗雷特金门，也称[详细]
-
jamf使部署苹果设备轻易
所属栏目：[大数据] 日期：2021-11-23 热度：143
我们所有人都听到苹果公司强烈针对企业机会。回到当天，Apple是学生和使用的创意类型的品牌。时代已经改变了，大多数企业工人渴望有一点点果味的爱。 但问题一直是有一些缺乏的产品，帮助这些组织需要的所有详细的企业级的东西。所有听起来像外语的东西都是消[详细]
-
以下是如何显着加速Windows 7扫描开展更新
所属栏目：[大数据] 日期：2021-11-23 热度：154
如果您重新遇到Windows 7更新以小时为单位测量的扫描 - 如果不是日子 - 正如我上周所描述的那样，新发现的技巧可能会减少扫描时间到分钟。这是两个更新的不太可能在我的Win7 PC上工作的两个更新。尝试它，看看它是如何工作的。 它是askwoody.com上的海报ep，[详细]
-
HPE专注于混合IT和IOT作为收入下跌
所属栏目：[大数据] 日期：2021-11-23 热度：124
惠普企业将于2016年第四季度汇率宣布为126亿美元的汇率为126亿美元，因为公司重新分离了混合云和物联网（物联网）市[详细]
