最新 最热

客快物流大数据项目(五十四):初始化Spark流式计算程序

4、​​​​​​​设置 join 或aggregate洗牌(shuffle)数据时使用的分区数

2022-03-04
2

万字详解数据中心的百万级消息服务实战

—1— 背景 利用RabbitMQ集群横向扩展能力,均衡流量压力,让消息集群的秒级服务能力达到百万,Google曾做过此类实验;有货在某些推送场景下也做了类似尝试,在此对此前实践经验以及踩得坑做些总结工作。 RabbitMQ概述 RabbitM...

2022-03-03
5

奈学科技技术开放日 | 《Kafka3.0发布,离彻底去掉ZooKeeper更进一步》等你免费学!

好的开始等于成功的一半,2022给自己一个美好的期许! 为了感谢2021年广大技术人对奈学科技的关注和支持,在2022新年开篇之际,奈学科技的核心教研团队将于1月11日特别推出【奈学科技技术开放日】免费体验学习活动,以高含金...

2022-03-03
1

卧槽!Kafka 宣布弃用 Java 8。。

点击关注公众号,Java干货及时送达 国庆了,国庆微信头像必须安排上,舒服~ 生成方式: 超火的微信渐变国旗头像,一键生成!! Kafka 3.0.0 发布了: 主要更新如下: The deprecation of support for Java 8 and Scala 2.12 Kafka ...

2022-03-03
6

Apache Pulsar 技术系列 - Pulsar事务实现原理

导语 Apache Pulsar 是一个多租户、高性能的服务间消息传输解决方案,支持多租户、低延时、读写分离、跨地域复制、快速扩容、灵活容错等特性。腾讯云MQ Oteam Pulsar工作组对 Pulsar 做了深入调研以及大量的性能和稳定...

2022-03-03
4

RocketMQ相关流程图/原理图

RocketMQ是开源的消息中间件,它主要由NameServer,Producer,Broker,Consumer四部分构成。

2022-03-01
4

Redis 使用 List 实现消息队列的利与弊

分布式系统中必备的一个中间件就是消息队列,通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。

2022-02-25
5

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:

2022-02-25
7

进程通信(二)消息队列(System V 消息队列)

消息队列:消息队列的本质是由Linux内核创建用于存放消息的链表,并且其功能是用来存放消息的,所以又称之为消息队列。 在Linux的不同进程中,包括有血缘的进程和无血缘的进程,都可以通过Linux消息队列API所得到的消息队列唯...

2022-02-24
4

客快物流大数据项目(四十):ETL实现方案

目前很多业务使用事务型数据库(MySQL、Oracle)做数据分析,把数据写入数据库,然后使用 SQL 进行有效信息提取,当数据规模很小的时候,这种方式确实是立竿见影的,但是当数据量级起来以后,会发现数据库吃不消了或者成本开销太大了...

2022-02-24
1