-
hive窗口函数/分析函数在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。窗口函数最重要的关键字是 partition by 和 ord
-
一文读懂kafka底层原理
-
EC介绍 Erasure Coding ?简称EC，中文名：纠删码EC（纠删码）是一种编码技术，在HDFS之前，这种编码技术在廉价磁盘冗余阵列（RAID）中应用最广泛(RAID介绍：大数据预备知识-存储磁盘、磁盘冗余阵列RAID介绍)，RAID通过条带化技术实现EC，条带化技术就是一种自动将 I/O 的负载均衡到多个物理磁盘上的技术，原理就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘
-
本文首发于公众号：五分钟学大数据在面试的时候，发现很多面试官特别爱问Kafka相关的问题，这也不难理解，谁让Kafka是大数据领域中消息队列的唯一王者，单机十万级别的吞吐量，毫秒级别的延迟，这种天生的分布式消息队列，谁能不爱？在最近的一场面试中，有个面试官看到简历中的项目上写Kafka了，就直接开问Kafka，其他问题基本没问。下面来看下面试官的Kafka八连问：（以下答案是面试完之后整理而成，实
-
深入研究HBase
-
细节决定成败
-
本文首发于公众号：五分钟学大数据小文件产生原因 hive 中的小文件肯定是向 hive 表中导入数据时产生，所以先看下向 hive 中导入数据的几种方式直接向表中插入数据insert?into?table?A?values?(1,'zhangsan',88),(2,'lisi',61);这种方式每次插入时都会产生一个文件，多次插入少量数据就会出现多个小文件，但是这种方式生产环境很少使用，可以说基本
