欢迎光临
我们一直在努力

Kafka

Kafka 宕机后,才明白 Kafka 高可用原理-IT技术资讯

Kafka 宕机后,才明白 Kafka 高可用原理

admin阅读(257)评论(0)赞(0)

问题要从一次Kafka的宕机开始说起。 笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ ,而是采用了设计之初就为日志处理而生的 Kafka ,所以我一直很好奇Kafka的高可用实现和保障。从Ka...

kafka压测就是这么简单

admin阅读(671)评论(0)赞(0)

前言 因为迁移了kafka集群,为了确保新环境正常,需要来做一些压力测试。这次压力测试重点会关注一些异常情况下,kafka收发消息的状况。 关于kafka集群的安装可参考上一篇文章。 kafka可能故障及结论 部分broker集群挂掉 若t...

golang异步kafka生产者

admin阅读(424)评论(0)赞(0)

在实际业务场景中,为了提高系统的实时性,减轻日志存储压力,需要将日志直接生产至消息中间件,减少flume或flumted收集所导致的延时及性能压力,本文实现了一下功能: 实现了一个静态调用的异步生产者    AsyncProducer 封装...

kafka的go版本api使用

admin阅读(535)评论(0)赞(0)

概述 go语言版本的kafakaAPI 准备 golang sarama 简单使用 生产和消费的过程都是通过一个配置开始的. 生产者 //设置配置 config := sarama.NewConfig() //等待服务器所有副本都保存成功后...

kafka-IT技术资讯

kafka

admin阅读(389)评论(0)赞(0)

Kafka Kafka集群的架构 broker topic partition:分区,把同一个topic分成不同的分区,提高负载 leader:分区的主节点(老大) follower:分区的从节点(小弟) Consumer Group 生产...

go操作kafka

admin阅读(856)评论(0)赞(0)

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用Go语言发送和接收kafka消息。 sarama Go语言中连接kafka使用...

应该选择RabbitMQ还是Kafka?-IT技术资讯

应该选择RabbitMQ还是Kafka?

admin阅读(318)评论(0)赞(0)

作为一个有丰富经验的微服务系统架构师,经常有人问我,应该选择 RabbitMQ 还是 Kafka?。 基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择 RabbitMQ 还是 Kafka 没什么差别,但是...