-
走出实验室: IBM为企业提升人工智能注入新动力
所属栏目:[大数据] 日期:2021-06-04 热度:54
2020年7月9日,2020年世界人工智能大会(the World Artificial Intelligence Conference, WAIC)云端峰会正式开幕,IBM的人工智能辩论系统IBM Project Debater荣获大会最高奖项卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)。 下面我们就来聊聊在这[详细]
-
在Apache Spark中执行聚合的五种技巧
所属栏目:[大数据] 日期:2021-06-04 热度:103
聚合是数据分析任务中广泛使用的运算符,Spark为此提供了坚实的框架。 以下是使用Spark可以针对大数据进行聚合的五种不同方式。 RDD上的GroupByKey或ReduceByKey转换:RDD是Spark中分布式数据收集的最早表示,其中数据通过 T类型的任意Java对象表示。 RDD上[详细]
-
用于数据分析的8个SQL方法
所属栏目:[大数据] 日期:2021-06-04 热度:156
介绍 SQL是数据科学专业人员军械库中的一个关键齿轮。这是经验之谈,如果你还没有学会SQL,你就不能指望在分析或数据科学领域取得成功。 为什么SQL如此重要? 随着我们进入新的十年,我们生产和消费数据的速度正在一天一天的飙升。 为了根据数据做出明智的决[详细]
-
监控大规模Hadoop集群,Prometheus超过Zabbix?
所属栏目:[大数据] 日期:2021-06-04 热度:102
作者介绍 洪迪,联通大数据高级运维开发工程师,主要负责大数据平台运维管理及核心监控平台开发工作。具有多年大数据集群规划建设、性能调优及监控体系建设经验,对Prometheus架构设计、运维开发等方面有深入理解和实践。 背景 随着公司业务发展,大数据集群[详细]
-
半小时,将你的Spark SQL模型变为在线效劳
所属栏目:[大数据] 日期:2021-06-04 热度:188
SparkSQL在机器学习场景中应用 第四范式已经在很多行业落地了上万个AI应用,比如在金融行业的反欺诈,媒体行业的新闻推荐,能源行业管道检测,而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用 半小时,将你的Spark SQL模型变为在线服务 SparkSQL[详细]
-
医疗行业中的四个数据分析成功事件
所属栏目:[大数据] 日期:2021-06-04 热度:135
所有行业的组织都希望更大限度地由数据驱动。在医疗领域尤其如此,在该领域里,医疗服务提供商正在利用分析对手头的大量数据进行分析,从而提高患者的治疗效果,简化运营并削减成本。 甚至在冠状病毒在全球大流行之前,研究公司Acumen Research and Consulti[详细]
-
畅谈InnoDB底层原理
所属栏目:[大数据] 日期:2021-06-04 热度:107
存储引擎 很多文章都是直接开始介绍有哪些存储引擎,并没有去介绍存储引擎本身。那么究竟什么是存储引擎?不知道大家有没有想过,MySQL是如何存储我们丢进去的数据的? 其实存储引擎也很简单,我认为就是一种存储解决方案,实现了新增数据、更新数据和建立索引[详细]
-
收藏!一文了解数据分析知识体系
所属栏目:[大数据] 日期:2021-06-04 热度:125
一 数据分析定义 数据分析是指有针对性的收集、加工、整理数据,并采用统计、挖掘技术分析和解释数据。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 1 数据定义 数据是客观事实,对于客观事物发生,发展的数字化记录。随着科[详细]
-
数据分析师or数据科学家:你的职业决定是什么?
所属栏目:[大数据] 日期:2021-06-04 热度:160
数据分析师 如果你希望描述过去或当前的数据,同时展示关键的发现、变化和趋势,最后向利益相关者显示数据,那么数据分析师的职位最适合你。 尽管两个职位之间有一些重叠的部分,笔者在另一篇文章中(https://towardsdatascience.com/data-science-vs-data-ana[详细]
-
大数据世界,必须做好这3大布局:才能抢占新的造富机会
所属栏目:[大数据] 日期:2021-06-04 热度:142
但在数字化和数据化时代,运用的是货找人的思路,是根据消费者的生活场景,通过大数据智能推送营销活动,通过不同的应用程序去连接消费者,从而达到智能匹配和精准营销的目的。 但如何实现货找人,实现智能化匹配和精准营销呢?从以下的内容中可以找到答案。[详细]
-
如何实现数据透视的动态数据引用,让工作效率提升
所属栏目:[大数据] 日期:2021-06-04 热度:115
大家在工作中用数据透视表的时候有没有遇到,对一个工作底稿进行数据透视,数据如果增加行列后,就需要重新选定范围的情况,尤其是对那种流水的底稿,可能每天都在增加条数,如果想每天更新看透视结果,就得重新透视选择区域,那怎么解决呢? 这个问题看起来[详细]
-
关于DevOps,数据科学家必须了解这些
所属栏目:[大数据] 日期:2021-06-04 热度:96
为什么数据科学家需要了解DevOps 那么,在众多的工程和软件技能中,数据科学家应该学习哪一种呢?我的钱花在DevOps上了。 DevOps是development和operations的合成词,于2009年在比利时的一次会议上正式诞生。这次会议的召开是为了应对科技公司在历史上经历过[详细]
-
数据分析前沿的问题
所属栏目:[大数据] 日期:2021-06-04 热度:184
1. 数据和分析并没有被过度炒作,但它们被过渡简化了 与会者一致认为高管的期望是一个实实在在的问题。大数据分析正在给组织带来经济影响,但高管获得收益的希望往往与前沿应用程序的实际情况脱节。不可避免的难题使他们措手不及并迅速产生了怀疑。 一位与会[详细]
-
数据可视化的基本流程概括
所属栏目:[大数据] 日期:2021-06-04 热度:108
可视化之前:探索性分析与解释性分析 二者之间有很重要的区别:探索性分析指理解数据并找出值得分析或分享给他人的精华。这就好比,在牡蛎中寻找珍珠,可能打开一百个牡蛎(尝试很多种方法)才最终找到两颗珍珠。而解释性分析,我们迫切希望能够言之有物,讲[详细]
-
数据湖到底是神马湖?
所属栏目:[大数据] 日期:2021-06-04 热度:104
数据作为一项重要资产,已经成为企业的共识,为了更好地存储数据、挖掘数据,企业需要: 一个超级大的存储库,对数据进行长期的原样的存储; 能够对这些数据高效地管理与集中治理; 需要强大的计算能力满足数据处理需求。 假设有这样一种解决方案:在一种技术[详细]
-
搞大数据,Java 工程师必须掌握哪些知识?
所属栏目:[大数据] 日期:2021-06-04 热度:88
01、大数据的就业方向有哪些? 现实点,我们掌握任何技能都是为了就业,为了能够找份工作糊口;立志不打工的同学们请绕行哈。 那大数据的就业方向都有哪些呢? 大数据工程师 大数据科学家 数据分析师 那针对这些不同的就业方向,都需要哪些技能呢?我们来一一的[详细]
-
不需要一行 Python 代码,也可以自动得到数据
所属栏目:[大数据] 日期:2021-06-04 热度:190
今天给大伙介绍一下 RPA,有时候你可能会使用代码去编写自动化相关的操作,不过对于一些在 GUI 上的的重复操作,实际上可以直接使用机器人流程自动化,监视使用者在软件 GUI 里面的工作,然后直接在这上面做这些需要重复的操作。 RPA 就是机器人流程自动化的[详细]
-
算法博士平均月入4万,数据可视化技能全球受宠
所属栏目:[大数据] 日期:2021-06-04 热度:178
2020 年,对于大数据这个词,多数人很难再说陌生。 尤其是在疫情防控期间,从各地相继推出健康码,到全国个人行程查询,在及时发现并定位确诊患者,进一步阻止疫情扩散方面,大数据和相关从业者都做出了不可磨灭的贡献。 近年来,随着数据行业的逐渐成熟,大[详细]
-
城市CIO需要在新冠时期加强数据工作
所属栏目:[大数据] 日期:2021-06-04 热度:191
私营部门很久以前就意识到了数据是宝贵的资源。企业可以利用大数据更好地了解客户、提高营销精准度及设计引人注目的产品和服务。公共部门在过去十年里取得很大的进步,但在利用自己所具有的丰富资源方面仍然落在后面。各个城市已经在使用数据,但却尚未探索[详细]
-
数据分析在业务中的五个优点
所属栏目:[大数据] 日期:2021-06-04 热度:114
1. 突出潜力 企业需要拥有分析硕士学位课程之一学位的数据分析师来审阅,并使用数据做出有创意的决策和建议。这是一种使用数据突出潜在策略并根据自己的数据记录新兴趋势的最佳方法。创新的方法无法用机器来处理,并且在所有情况下,让数据分析师遍历企业的[详细]
-
做数据分析还在死磕Excel?用这的容易工具,摆脱复杂函数和公式
所属栏目:[大数据] 日期:2021-06-04 热度:74
大数据时代,数据分析在我们的日常生活和工作中应用越来越广泛,不管是公司的行政、人事、销售、运营还是专业的数据分析师,都经常需要通过数据来发现业务问题,因此数据分析正逐渐成为职场通用能力。 说到数据分析,必然离不开Excel,大到可视化分析驾驶舱[详细]
-
Seaborn普通的10种数据分析图表
所属栏目:[大数据] 日期:2021-06-04 热度:183
seaborn内置了十几个示例数据集,通过load_dataset函数可以调用。其中包括常见的泰坦尼克、鸢尾花等经典数据集。 # 查看数据集种类 import seaborn as sns sns.get_dataset_names() seaborn常用的10种数据分析图表 import seaborn as sns # 导出鸢尾花数据集[详细]
-
数据科学家的工具列表:增长生产效率的工具包
所属栏目:[大数据] 日期:2021-06-04 热度:79
新的东西令人激动,新的框架、新的仪器、新的工具,都会让生活变得更轻松。保持更新很难,我们需要花更多的时间在其上。 当然,我们并不是要一直更新到最新的发现,它可能是某个特定库的新的小版本,也可能是处于兴趣或是工作需要而寻找。现在开始吧! Texthe[详细]
-
Kaggle精选:6门极好的数据科学课程
所属栏目:[大数据] 日期:2021-06-04 热度:193
Kaggle Kaggle是可以了解数据科学的网站,你可以在上面查看其他数据科学家们开发的机器学习模型,也可以查看数百行代码,参加机器学习竞赛,从大量有用的数据集中下载资源,最终修炼成更优秀的数据科学家。 其上有许多直击重点的好课,不同于其他常见的数据[详细]
-
数据素养的7大判断法则:看你骨骼清奇,来当数据科学家吧!
所属栏目:[大数据] 日期:2021-06-04 热度:57
对于数据科学家来讲,能否理解数据是必须通过的筛选条件,任何先进的算法或复杂的机器学习模型都无法取代人类分析数据的优势,一个优秀的数据科学家必须具备数据素养。 企业每天都要通过分析来处理变化和由此产生的不确定性,这些日常的变化和不确定性使企业[详细]