-
如何跨历史数据和实时数据进行实时分析?
所属栏目:[教程] 日期:2019-08-22 热度:126
当下的数据分析需求给现有的数据基础设施带来了前所未有的压力。跨操作和存储数据执行实时分析通常是成功的关键,但这些操作实现起来却充满挑战。 比如一家航空公司,它希望收集和分析来自其喷气发动机的连续数据流,以实现可预测的维护以及迅速发现解决方[详细]
-
深度解析 Flink 是如何管理好内存的?
所属栏目:[教程] 日期:2019-08-22 热度:60
前言 如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中[详细]
-
面试系列:十个海量数据处理方法大总结
所属栏目:[教程] 日期:2019-08-22 热度:110
本文将简单总结下一些处理海量数据问题的常见方法。当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎讨[详细]
-
网络流量如何压测?
所属栏目:[教程] 日期:2019-08-21 热度:199
网络测试软件很多,今天就介绍2款大家常用的。分别为iptraf3和netperf 。网络测试关注的指标:PPS和内网带宽峰值。 iptraf 软件 yum-yinstallgccgcc-c++autoconfglibcglibc-develsysstatnload yuminstall-yiptraf3 (1) iptraf3 部分参数说明: (2) 查询带[详细]
-
影响TCP连接吞吐量的致命因素:HOL (干货)
所属栏目:[教程] 日期:2019-08-21 热度:112
一、什么是HOL HOL是Head of line blocking的意思,在互联网领域,包括HTTP head of line blocking和 TCP head of line blocking。 1. HTTP Head of line blocking Wikipedia对HTTP HOL的解释如下: 虽然HTTP/2解决了HTTP/1.1的HOL问题,但由于是建立在TCP[详细]
-
我们到底该如何看待6G?
所属栏目:[教程] 日期:2019-08-21 热度:181
近日,加拿大媒体报道,华为已确认在加拿大渥太华开启6G网络研究,已与加拿大多所大学的研究者展开洽谈。华为表示,自家的渥太华研发实验室将引导华为全球6G发展。 消息传出之后,很多媒体争相转发,再次引起了行业内外对华为的关注,也吸引了人们对6G的关[详细]
-
Google科学家最新整理,给新手推荐的十篇优秀数据科学文章
所属栏目:[教程] 日期:2019-08-21 热度:147
作为数据科学的初学者,一些好的文章能够快速带我们入门这一充满了未知和挑战的领域。近日,google 决策智库的主管 Cassie Kozyrkov 整理了十篇给学生们推荐的 优秀 文章。下面这些文章几乎都来自于相同的博客。让我们来看看是哪些文章吧~ #1 理解数据 文[详细]
-
理解 HTTPS 的工作原理
所属栏目:[教程] 日期:2019-08-21 热度:200
HTTPS,也称作HTTP over TLS。TLS的前身是SSL,TLS 1.0通常被标示为SSL 3.1,TLS 1.1为SSL 3.2,TLS 1.2为SSL 3.3。本文着重描述TLS协议的1.2版本。 下图描述了在TCP/IP协议栈中TLS(各子协议)和HTTP的关系 Credit: Kaushal Kumar Panday From: SSL Handsha[详细]
-
大数据分析是21世纪医疗保健领域的颠覆者
所属栏目:[教程] 日期:2019-08-21 热度:85
21世纪医疗保健领域较大的颠覆者是大数据。医疗保健行业采用大数据将使其发展方式产生巨大变化。 医疗保健行业在大数据方面有很大的依赖性。医疗保健组织正在使用预测分析、机器学习和人工智能来改善患者的结果、产生更准确的诊断,并找到更具成本效益的操[详细]
-
当专用LTE优于Wi-Fi时
所属栏目:[教程] 日期:2019-08-21 热度:166
虽然蜂窝技术通常被认为是一种运营商服务,但IT企业可以从部署专用LTE技术来补充甚至取代Wi-Fi,并在特定的案例中受益,例如支持生成大型数据集、大面积的物联网设备。 什么是专用LTE? 专用LTE是一种本地蜂窝网络,包括蜂窝站点和核心网络服务器,专门支持[详细]
-
TCP/IP协议栈之数据包如何穿越各层协议
所属栏目:[教程] 日期:2019-08-21 热度:194
所有互联网服务,均依赖于TCP/IP协议栈。懂得数据是如何在协议栈传输的,将会帮助你提升互联网程序的性能和解决TCP相关问题的能力。 我们讲述在Linux场景下数据包是如何在协议层传输的。 1. 发送数据 应用层发送数据的过程大致如下: 我们把上述处理过程的[详细]
-
人工智能——一种改进数据控制和处理的好方法
所属栏目:[教程] 日期:2019-08-21 热度:64
早期的人工智能机器不够完善,只能按照定义明确的指令运行。但是,随着计算机和处理网络功能的不断增强,现在可以创建和执行可以在每次迭代时改进其功能的算法。这种现象被称为人工智能(AI),尽管称之为机器智能可能会更好。 定义人工智能 人工智能难以完[详细]
-
4G网络偷偷降速为保5G?你真的冤枉他们了
所属栏目:[教程] 日期:2019-08-21 热度:163
最近4G网络降速的问题闹得沸沸扬扬,很多人都把目标指向了运营商,认为运营商是故意降低4G网络速度,目的是给保证5G网络。对于这一问题,联通方面予以否认,表示不会降低4G网速,反而会提高网速。 关于4G降速问题,有人指出4G网络降速的原因与不限流量业务[详细]
-
大数据核心框架MapReduce过程解析
所属栏目:[教程] 日期:2019-08-18 热度:80
首先MapReduce很明显是分为Map阶段和Reduce阶段。两个阶段分别做什么呢? 小编自己画了个图,大家共勉一下 图中1-2过程为map过程,3为Reduce过程,接下来看一张专业图片,两张对比一起看 在整个mapReduce过程包含很多复杂的处理过程,而我们要学习的就是其[详细]
-
5G消息服务入口在哪,你可能想不到
所属栏目:[教程] 日期:2019-08-18 热度:176
自从今年6月6日工信部发放5G牌照以来,国内手机厂商、运营商都纷纷发布自家的5G产品。 7 月下旬,我们使用 5G 版的华为 Mate 20 X 在广州天河区首批 5G 商用试点区域的未来社里,曾录得 738Mbps 的网速,这大概是你手上那部 4G 手机的 15 倍。 从今年 2 月[详细]
-
企业可以不要大数据,但必须要有“数据中台”
所属栏目:[教程] 日期:2019-08-18 热度:199
2015年,马云拜访名为Supercell的芬兰游戏公司,虽然这家公司仅有180人,但是他们开发新游戏的速度特别快,公司旗下游戏DAU已经突破1亿。2016年,腾讯以86亿美元收购了其84%的股权,这不仅是腾讯历史上,也是近年全球手机游戏行业最大金额的并购。这家小公[详细]
-
极简操作!3分钟即可实现的 IIS 站点迁移
所属栏目:[教程] 日期:2019-08-18 热度:92
为实现负载平衡或者服务器迁移时,我们可能会使用多个 Web 服务器,也就会需要给多个 IIS配置同样的站点和应用程序池。根据需求一个一个重新建吗?当然不用!那得花费多少时间!我们只需要执行一些简单的命令即可在 IIS 上进行这些配置的导出导入~ 当我们在 I[详细]
-
TCP传输协议中如何解决丢包问题
所属栏目:[教程] 日期:2019-08-17 热度:82
一、回答这个问题之前,要考虑TCP协议为什么会丢包,在什么样的情况下会丢包。 1. TCP协议定义(Transimission Control Protocol)是以一种面向连接的、可靠的、基于字节流的传输层通信协议。 2. TCP是基于不可靠的网路实现可靠传输,肯定会存在丢包问题。 3[详细]
-
从全球大数据市场看未来发展趋势
所属栏目:[教程] 日期:2019-08-17 热度:88
近年来,全球大数据储量呈现爆炸式增长,其中中国数据产生量增长最为迅速,平均每年增长速度比全球快3%,预计到2025年中国将成为全球最大的数据圈。 中国数据圈将受到来自物联网设备信号、元数据、娱乐相关数据、云计算和边缘计算增长的驱动,中国生产力数[详细]
-
云数据管理会成为DataOps的未来吗?
所属栏目:[教程] 日期:2019-08-17 热度:163
如今,现代化的数据管理平台正在成为企业的首先,而传统的数据运维应用平台则逐渐被边缘化。尤其在AI和机器学习技术的推动下,企业数据正在走向以云为核心的数字化征程。 根据思科的一份数据显示:到2021年,企业4%的工作负载将托管在云数据中心。尽管很多[详细]
-
UDP协议-看这篇就够了
所属栏目:[教程] 日期:2019-08-17 热度:86
每一个程序员应该都知道TCP,UDP协议。UDP是用户数据报文协议,属于OSI模型中的传输层。它是一种无连接的协议,也就说上一报文和下一报文在协议层没有任何联系,同时提供了简单的不可靠的传输服务。 也就是说UDP是不可靠的,如果要想让数据可靠,就需要在业[详细]
-
身为网络工程师,你能说清楚网络的概念吗?
所属栏目:[教程] 日期:2019-08-17 热度:162
一、计算机网络的定义 定义:能够相互共享资源的方式互连起来的自治计算机系统的集合。 自治的计算机是指计算机之间没有明显的主从关系,一台计算机不能强制地启动、停止或者控制网络中的其他计算机。 计算机网络的基本特征:资源共享。资源主要包括硬件、[详细]
-
以太网数据传输原理是这样的,值得收藏
所属栏目:[教程] 日期:2019-08-17 热度:104
首先我们来回顾一下路由的基本概念,什么是路由?所谓路由就是当一台路由器(或其他三层设备)收到一个IP数据包时,路由器查看IP数据包的IP头部,将IP头部中的目的IP地址拿到路由表中进行查找,找到匹配的条目后,依照条目所指示的下一跳IP地址及出接口信息将[详细]
-
缺失数据别怕!这里有份强大的初学者指南
所属栏目:[教程] 日期:2019-08-17 热度:87
实际上,数据科学家80%到90%的工作是数据清理,而这项工作的目的是为了执行其余10%的机器学习任务。没有什么比完成数据集分析后的收获更让人兴奋的了。如何减少清理数据的时间?如何为至关重要的10%的工作保留精力? 根据很多专业人士的经验,对数据清理涉及[详细]
-
民生银行数据中台体系的构建与实践
所属栏目:[教程] 日期:2019-08-17 热度:138
在大数据、人工智能、区块链等新兴技术的驱动下,各家银行纷纷利用新技术制定数字转型改革战略,寻找差异化经营的可行模式。 民生银行积极推进改革转型,2018年在民营企业的银行、科技金融的银行、综合服务的银行战略指导下,民生银行从科技视角制定了技术[详细]
