中国大数据教育领跑者

IT培训上市机构

您现在的位置:首页 > Java培训 > java求职技巧>Java开发面试知识点总结之大数据相关知识点

Java开发面试知识点总结之大数据相关知识点

2018-01-12 18:34:47 作者:魔据大数据学院

Java开发者在面试的时候都可能遇到哪些知识点呢?相信这是很多参加Java技术培训Java初学者都想要知道的问题,今天魔据教育的Java技术培训班就为大家分享一篇Java开发面试知识点总结。今天先给大家分享一下基础知识面试中的大数据相关知识点。

大数据相关是因为我的简历上写了 KafKa 相关项目,所以面试官会进行提问 KafKa 相关知识点,我也进行了一些简单概念总结,深层次的实现原理因为并没有特别多的实战经验,所以并不了解。

以下概念总结供小伙伴参考。

Java开发面试知识点总结之大数据相关知识点

Java开发面试知识点总结之大数据相关知识点

1KafKa 基本特性:

答:快速持久化、支持批量读写消息、支持消息分区,提高了并发能力、支持在线增加分区、支持为每个分区创建多个副本。

扩展:为什么可以实现快速持久化?

答:KafKa 将消息保存在磁盘中,并且读写磁盘的方式是顺序读写,避免了随机读写磁盘(寻道时间过长)导致的性能瓶颈;磁盘的顺序读写速度超过内存随机读写。

2)核心概念:

答:

生产者(Producer): 生产消息,并且按照一定的规则推送到 Topic 的分区中。

消费者(Consumer): 从 Topic 中拉去消息,并且进行消费。

主题(Topic): 用于存储消息的逻辑概念,是一个消息集合。

分区(partition):

每个 Topic 可以划分为多个分区,每个消息在分区中都会有一个唯一编号 offset

kafka 通过 offset 保证消息在分区中的顺序

同一 Topic 的不同分区可以分配在不同的 Broker

partition 以文件的形式存储在文件系统中。

副本(replica):

KafKa 对消息进行了冗余备份,每个分区有多个副本,每个副本中包含的消息是 一样的。

每个副本中都会选举出一个 Leader 副本,其余为 Follower 副本,Follower 副本仅仅将数据从 Leader 副本拉去到本地,然后同步到自己的 Log 中。

消费者组(Consumer Group): 每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。

Broker

一个单独的 server 就是一个 Broker

主要工作:接收生产者发过来的消息,分配 offset,并且保存到磁盘中;

Cluster&Controller

多个 Broker 可以组成一个 Cluster,每个集群选举一个 Broker 来作为 Controller,充当指挥中心

Controller 负责管理分区的状态,管理每个分区的副本状态,监听 ZooKeeper 中数据的变化等工作

保留策略和日志压缩:

不管消费者是否已经消费了消息,KafKa 都会一直保存这些消息(持久化到磁盘);

通过保留策略,定时删除陈旧的消息;

日志压缩,只保留最新的 Key-Value 对。

关于副本机制:(加分点)

ISR 集合 :表示当前 可用且消息量与 Leader 相差不多的副本集合。满足条件如下:

副本所在节点必须维持着与 ZooKeeper 的连接;

副本最后一条信息的 offset Leader 副本的最后一条消息的 offset 之间的差值不能超过指定的阈值。

HW&LEO

HW 标记了一个特殊的 offset,当消费者处理消息的时候,只能拉取到 HW 之前的消息;

HW 也是由 Leader 副本管理的;

LEOLog End Offset)是所有副本都会有的一个 offset 标记。

ISRHW LEO 的工作配合:

producer 向此分区中推送消息;

Leader 副本将消息追加到 Log 中,并且递增其 LEO

Follower 副本从 Leader 副本中拉取消息进行同步;

Follower 副本将消息更新到本地 Log 中,并且递增其 LEO

ISR 集合中的所有副本都完成了对 offset 的消息同步,Leader 副本会递增其 HW

KafKa 的容灾机制: 通过分区的副本 Leader 副本和 Follower 副本来提高容灾能力。

小结:请小伙伴根据自己的简历自行准备学习大数据相关知识点。

 

相关推荐
[免责声明]本文来源于网络转载,仅供学习交流使用,不构成商业目的。版权归原作者所有,如涉及作品内容、版权和其它问题请在30日内与本网联系,我们将在第一时进行处理

值班手机:18501996998

咨询QQ: 226594285 / 428683440

校区地址:北京市海淀区中关村科技园首农蓝海中心C座-7层

全国咨询热线:400-690-5006

点击关注:

魔据教育官方微博

魔据官方微信