Kafka、Eromanga与Confluent IPO

王福强

2021-06-27

原本想在Confluent IPO当天写这篇的，但得参加活动并准备《技术、商业与人》的试读运营与分发，所以，没有时间及时搞定这一篇，今天补上…

Confluent公司IPO啦~

什么？ 你没听说过Confluent公司？ 那你一定听说过Kafka吧？ 对， Apache开源基金会的那个Kafka，不是历史上的人名，毕竟，我们还是围绕着技术多一些 ；）

Confluent作为Kafka背后的那个“男人”，在Kafka开源的基础上做商业，打造了一系列的外围生态与衍生服务，包括但不限于Schema Registry，Gateway Service以及把Kafka云化(Cloudify Kafka)，Confluent的IPO相当于对他们工作的价值给予了确切的一个里程碑似的肯定，也给予了诸多技术创业公司继续砥砺前行的激励，所以，恭喜Confluent！

借着Confluent上市之际，Kafka的最初代码编写者也对Kafka的历程做了一个简单的回顾：

这也让我想起来2009年到2010年左右在阿里巴巴做海量数据中间件的那段经历， 今天很多公司使用的阿里巴巴开源出来的Canal项目 1，如果去看代码和底层架构，其实依然可以看到当年我设计上的优与劣，很多东西放到今天来重新设计与实现，绝对也不会是今天这个样子，但往事不可追，let it be~

那Kafka和Conflent IPO跟我在阿里巴巴做中间件的经历有啥联系呢？ 其实，我是最早研究Kafka的国内开发者之一，对Kafka的Paper、blog posts以及源代码都做过全面深入的研究，而也正是着迷于Kafka当时的先进性，我在实现Eromanga数据中间件 2的时候，直接就把Kafka的优秀特性inline或者说copycat到了Eromanga中, 包括但不限于sequent write、direct copy、HA、message pub/sub等。

当时考虑到运维与推广，更多将Eromanga和Erosa 3两个中间件的职能inline到一个中间件了，实际上，今天来看，最合理的设计规划应该是直接用Kafka替换Eromanga，只做好Erosa就可以了，消息的接入、分发与计算都后置，专有中间件各自做好各自的事情。

当然，这也带给我们一个启示：

If you are big, architect distributed;

If you are small, go inline way.

以此纪念当年的技术geek情节并再次恭喜Confluent IPO和Kafka的成功。

  1. 我其实一开始不知道Canal跟我当年写的代码与架构之间的关系的，之后后来grep代码发现有自己的@author信息，而且查看Canal设计，觉得很熟悉，才大体了解了这个产品演化的脉络，真正来讲，Canal是楼江航主导开源的，后面由另一个小伙儿接手了（听说也从阿里出来创业了）↩︎

  2. Eromanga和Erosa组合起来形成了今天Canal的基本整体，Eromanga名字来源于Eric掌舵的平台技术部时期，Dubbo也是同一时期的产物，整个平台的产品体系叫pampas，而且多个同事一起出来搞了家公司就叫潘帕斯(https://www.ipampas.com/)，算是帮忙打个广告了，哈哈↩︎

  3. Erosa是处理CDC与数据库协议的关键，细节当时给上海交通银行信用卡中心的同学做过企业内部培训《实时数据追踪与流计算》，但很可惜，大部分同学是应用研发，能感觉出大家对个中“滋味”无甚了了↩︎

>>>>>> 更多阅读 <<<<<<

欢迎加入「福强私学」

跨越2190个日夜，始终坚持“实践 + 原创”打造的715125字专属知识库，囊括了（但不限于）从职场、技术、管理与商业等多个板块的内容。

  • 一个ChatGPT触达不到的地方
  • 一个带你超越AI/人工智能的地方
  • 一个与你一起成长的地方

https://afoo.me/kb.html

开天窗，拉认知，订阅「福报」，即刻拥有自己的全模态人工智能。

订阅「福报」