跳至内容唐福林-博客雨菜单ITA1024分享：雪球大数据体系实践雪球大数据体系实践 from fulin tang作者 唐福林发布于 2016年4月25日2016年5月10日分类 工作日志转：各大互联网公司架构演进之路汇总请转载时务必保留文章的上述原始出处。大型网站架构演化历程大型网站架构技术一览Web支付宝的高可用与容灾架构演进聚划算架构演进和系统优化 （视频+PPT）淘宝交易系统演进之路 （专访）淘宝数据魔方技术架构解析淘宝技术发展历程和架构经验分享（视频+PPT）（2.3日更新）高德——快速转型时期的稳定性架构实践（视频+PPT）（2.3日更新）秒杀系统架构分析与实战腾讯社区搜索架构演进（视频+PPT）京东峰值系统设计京东咚咚架构演进新浪微博平台架构微博图床架构揭秘微博推荐架构的演进当当网系统分级与海量信息动态发布实践当当网架构演进及规划实现（视频+PPT）LinkedIn架构这十年Facebook’s software architecture（英文）从0到100——知乎架构变迁史豆瓣的基础架构搜狗搜索广告检索系统-弹性架构演进之路（视频+PPT）小米网抢购系统开发实践小米抢购限流峰值系统「大秒」架构解密海尔电商峰值系统架构设计最佳实践唯品会峰值系统架构演变1号店电商峰值与流式计算蘑菇街如何在双11中创造99.99%的可用性麦包包峰值架构实践苏宁易购：商品详情系统架构设计携程的技术演进之路篱笆网技术架构性能演进（视频+PPT）从技术细节看美团的架构（1.26日更新）美团云的网络架构演进之路(2.3日更新)百度开放云大数据技术演进历程（视频+PPT）(2.3日更新)途牛供应链系统的架构演进（视频+PPT）(2.3日更新)Airbnb架构要点分享(2.3日更新)12306核心模型设计思路和架构设计（2.20日更新）无线支付宝钱包客户端技术架构(2.3日更新)手机淘宝构架演化实践手淘技术架构演进细节手机淘宝移动端接入网关基础架构演进之路微信后台系统的演进之路微信红包的架构设计简介微信Android客户端架构演进之路Android QQ音乐架构演进（视频+PPT）快的打车架构实践Uber 四年时间增长近 40 倍，背后架构揭秘Uber容错设计与多机房容灾方案大众点评移动应用的架构演进（视频+PPT）饿了么移动APP的架构演进其他魅族云端同步的架构实践和协议细节作者 唐福林发布于 2016年3月10日分类 技术资料创业公司需要基础架构团队吗？[极牛编辑修改版]为实现业务功能：技术选型，决策为了更好的实现业务功能：引入新技术/做法，提供内部支持解决历史遗留的技术债务：发现问题，找出解决方案，并推动解决业务开发 与 线上运维 中间有很宽的“三不管”地带需要填充，还需要坚实的基础设施支持 基础架构团队存在的价值是解决非业务逻辑的技术相关问题，没有产品或运营驱动从技术角度看，每个问题都有很多种解决办法这些问题一般都是重要不紧急，短期内不解决也不会崩
解决这些问题带来的价值对于非技术人员（特别是老板）不是很直观
作者 唐福林发布于 2016年3月9日分类 工作日志、架构
漫谈基础架构团队的价值 [分享稿文字版]
漫谈基础架构团队的价值
@唐福林 weibo.com/tangfl
陆续在微博和雪球做了几年的架构师，也带了几次基础架构团队，因而在多个场合被问到类似“创业公司需要基础架构团队吗”“基础架构团队怎么招聘，如何管理”一类的问题。于是前些天在极牛举办的「真格 · 极牛技术分享」上集中分享了我做架构师和带架构团队的经历，以及我个人对架构团队的价值的理解和思考。现将分享的内容整理成文如下，请大家指正。
关于我
     首先简单介绍一下我自己：
雪球首席架构师
前微博技术委员会成员，微博平台架构师
Java 后端程序员，已经不写 PHP，C 和 Pascal 很多年
ACM/ICPC 和 NIO 比赛深度参与者
技术交流欢迎在微博上关注我 @唐福林 weibo.com/tangfl
炒股，理财，资产管理，量化交易相关，欢迎在雪球上关注我 @唐福林 xueqiu.com/fulin
微博平台架构组经历分享
2010年底加入微博平台部
当时名称为“微博开放平台”
与 t.sina.com.cn 为两套独立体系
     左边是当时的 t.sina.com.cn，内部一般称为“主站”，PHP 写的。右边是我们的基于 Java 的 API 体系，当时称为 OpenApi，因为我们当时主要面向外面的第三方开发者，为他们提供 open api。OpenApi和 主站之间通过 Queue 互相同步数据。微博当时选择的是内部开发的 MemcacheQ，简称 MCQ 。这种模式下最大的好处是互不影响，最大的问题呢，就是数据不一致，甚至业务逻辑不一致。
     当时我个人的职责是重构和维护微博短链接服务t.cn 。事实上，我最开始接手项目的时候，还是 sinaurl.cn，是用 PHP 写的，我拿过来用 Java 重写了一遍，正准备上线，老板说要把域名换成 t.cn，然后我就一通狂改代码。当时平台内部容器都是用 Tomcat 6，短链项目是第一个尝试用 Jetty，但后来失败了又换回 Tomcat 了。
     这一年最大的收获是：学会了怎么写好的业务实现代码。
2011年微博 “平台化”
统一一个平台底层，为上层 OpenApi，Web主站和无线App端提供 api
平台负责稳定性，性能和扩展性
     当时我的个人职责是负责引入Redis来实现计数器和关系缓存功能。微博大约是国内第一家大规模应用Redis 的公司了吧，到2011年底的时候，我们已经部署了超过100台服务器，总计超过8T的内存。我们有自己修改过的RedisCounter专门用来高效的存储计数（用户的关注数粉丝数，每条微博的转发数，评论数，赞数等等）。我在Jedis client 的基础上包装了内部使用的客户端，增加了大量的异常处理，HA，Fail Fast等功能，还开发了一个支持滚动删除旧数据的 Redis 集群功能。
     这一年最大的收获是：学会了怎么设计并实现一个大的模块功能，做到高可用，以及如何应付高并发流量。
     PS，这也是我现在给创业公司推荐的架构，后端Http（Https） Rest Api，优先推荐Java技术栈实现，Cache 推荐使用Redis，DB推荐使用Mysql，前端Web、Android 、iOS、微信公众号等等都独立实现，或者共享某些 H5 页面。如下图所示
 
2012年，平台壮大，职责划分
用户关系
内容
私信IM
公共：通知，提醒，导航 etc
架构
     当时我个人的职责从工程师转变成了架构组的组长，最重要的职责从自己写代码，转变成了“如何创造条件让团队成员更好的写代码”。那一年微博平台架构团队最重要的几个产出包括：
新版聚合框架 poly
redis 二次开发
多机房同步队列 weibus
数据管道firehose
      这一年，我最大