当前位置:网站首页 > 电脑培训网-热点问答 > 正文
Apache流式处理工具(一):Flume
作者:广州电脑培训甘发布时间:2020-10-17分类:电脑培训网-热点问答浏览:770
导读:为大家简要介绍Apache流式处理工具的其中一种:Flume。这款产品性能优异,可横向伸缩,并提供插件机制,可通过定制组件进行扩展。ApacheFlume ...
为大家简要介绍Apache流式处理工具的其中一种:Flume。这款产品性能优异,可横向伸缩,并提供插件机制,可通过定制组件进行扩展。
Apache Flume
Flume部署由一个或多个使用拓扑配置的代理组成。Flume代理是一个JVM进程,它承载Flume拓扑的基本构建块,即源、通道和接收器。Flume客户机将事件发送到源,然后将它们成批地放在名为channel的临时缓冲区中,数据从该缓冲区流向连接到数据最终目的地的接收器。接收器也可以是其他Flume代理程序的后续数据源。代理可以链接,并且每个代理都有多个源、通道和接收器。
Flume是一个分布式系统,可用于收集、聚合流事件并将其传输到Hadoop中。它有许多内置的源、通道和接收器,例如Kafka通道和Avro接收器。Flume是基于配置的,它有拦截器来对通道中的数据执行简单的转换。
如果不小心,使用Flume很容易丢失数据。例如,为高吞吐量选择内存通道有一个缺点,即当代理节点关闭时,数据将丢失。文件通道将以增加延迟为代价提供持久性。即使如此,由于数据没有复制到其他节点,因此文件通道仅与底层磁盘一样的可靠性。Flume通过多跳/扇入扇出流提供了可伸缩性。对于高可用性(HA),可以水平扩展代理。
相关推荐
- 梅州信息:凝聚共识裁审同行梅州市召开劳动人事争议裁审衔接工作研讨会|||计算机网络培训学校
- 东莞信息:虎门镇民营企业招聘月活动|||广州市北大青鸟计算机职业培训学校
- 东莞信息:(塘厦)塘厦镇举办“筑劳知识”之“阳光经营第一课”劳务派遣政策法规宣讲会|||计算机职业技能培训班
- 东莞信息:(塘厦)塘厦镇举办2024年全市首场名城名企OpenDay活动启动仪式|||计算机软件培训学校
- 东莞信息:(南城)南城开展“民营企业招聘月”直播带岗活动|||中专学计算机平面设计女生可以学计算机网络技术好吗
- 湛江信息:专家、大咖云集献策!国家高层次人才服务行活动走进湛江|||计算机培训学校招生
- 东莞信息:(万江)万江人社分局组织企业参加东莞云聘周周招直播带岗活动|||计算机培训学校招生
- 东莞信息:(莞城)深入园区送政策精准服务助发展|||计算机网络培训学校
- 汕头信息:市人社局加强公共服务下沉基层赋能“百千万工程”|||计算机专业维修学校
- 东莞信息:(东坑)东坑再添一家“广东省博士工作站”|||计算机专业维修学校
- 电脑培训网-热点问答排行
-
- 1广州职业培训介绍-广州市花都区东方均膳职业培训学校-培训内容-地址-联系方式
- 2东莞职业培训介绍-东莞市稻香中菜厨艺职业培训学院(麻涌考点)-培训内容-地址-联系方式
- 3从2022年软件和IT服务业收入看行业发展
- 4计算机等级考试问答-报考时选错级别科目,但已缴费可否重置修改?-北大青鸟教育-教育实力
- 5计算机等级考试问答-报名缴费重复缴了两次,会自动退费吗?-北大青鸟教育-教育实力
- 6计算机等级考试问答-没有参加过计算机一级的,可以直接报考二级吗?-北大青鸟教育-特色教育
- 7技能+学历,这是一个不同以往的选择
- 82023年9月计算机等级考试介绍-考生报名流程-北大青鸟教育-就业实力
- 9高考落榜读-广州市蓝天高级技工学校专业好不好-计算机类好么-北大青鸟计算机编程培训怎么样
- 最近发表
-
- 梅州信息:凝聚共识裁审同行梅州市召开劳动人事争议裁审衔接工作研讨会|||计算机网络培训学校
- 东莞信息:虎门镇民营企业招聘月活动|||广州市北大青鸟计算机职业培训学校
- 东莞信息:(塘厦)塘厦镇举办“筑劳知识”之“阳光经营第一课”劳务派遣政策法规宣讲会|||计算机职业技能培训班
- 东莞信息:(塘厦)塘厦镇举办2024年全市首场名城名企OpenDay活动启动仪式|||计算机软件培训学校
- 东莞信息:(南城)南城开展“民营企业招聘月”直播带岗活动|||中专学计算机平面设计女生可以学计算机网络技术好吗
- 湛江信息:专家、大咖云集献策!国家高层次人才服务行活动走进湛江|||计算机培训学校招生
- 东莞信息:(万江)万江人社分局组织企业参加东莞云聘周周招直播带岗活动|||计算机培训学校招生
- 东莞信息:(莞城)深入园区送政策精准服务助发展|||计算机网络培训学校
- 汕头信息:市人社局加强公共服务下沉基层赋能“百千万工程”|||计算机专业维修学校
- 东莞信息:(东坑)东坑再添一家“广东省博士工作站”|||计算机专业维修学校
- 标签列表
-