2011年度总结
一 3RD
由chuanhui发表在个人随笔 9个评论
技术杂谈

10年定下近几年的技术方向：

1, 精通架构：深入理解线上，线下分布式存储&计算并能够形成完整的知识体系；

2,理解系统：理解系统，网络，IDC，虚拟化等相关知识；

3,掌握应用：通过应用证明和修正分布式知识体系；

11年做了一些事情：

1, 思考并讨论Google，Amazon，Microsoft，Yahoo，Facebook内部云存储系统的架构及实现，
在云存储方向形成了初步的知识体系；

2, 读了一些系统和网络方面的博客和书籍，如褚霸同学的博客，<<Unix网络编程>>，等等；

3, 通过推广OB学习了很多应用的入门知识，主要包括数据库应用，OLAP应用，搜索广告应用；

12年准备做一些事情：

1, 整理一本云存储技术资料；

2, 深入学习并实践系统优化相关知识，重点是CPU&内存优化；

3, 理解淘宝数据库OLTP应用访问模式，深入理解OLAP应用业务知识；

云存储观点

1,
根据应用模式及实现难度，可以大致将云存储系统分为四类：Blob存储系统（淘宝TFS，Fac
ebook
Haystack），分布式KV系统（淘宝Tair，Dynamo），分布式表格系统（Bigtable，Megastor
e，Azure Table Storage）以及分布式数据库（SQL Azure，Amazon RDS）。

2,
云存储直接提供对外服务时机还不成熟，创业者期望的只是一个服务稳定的，花费低的虚拟
主机而已。云存储服务需要与业务打包捆绑销售，比如Dropbox，腾讯开放平台。

3,
线上线下融合还比较难，几年之内的方式还是线下计算好的数据Push到线上系统，而不是线
上线下完全共用。线下系统大局已定，Hadoop一统江湖，机会与挑战主要在线上系统，实时
化。

4, 云存储的主要优势在于节省成本，来源于几个方面：a,
系统优化，普遍有2~3倍性能提升，对于某些特殊应用或一些特殊压缩算法，单节点优化可以
有数量级的性能提升；b,
机器Buffer。为了防止异常，线上系统一般需要一半以上的机器Buffer，大量线上系统利用
率<20%，通过提高存储服务能力，能够节省2~3倍成本；c,
硬件量产带来的低采购成本。总而言之，云存储带来的成本节省在5倍以上。

5,
云存储系统有两个目标：一个是高可扩展性，终极目标是线性扩展，完全自动化，宕机恢复
时间极短；一个是强功能，终极目标是强一致性，关系型数据库SQL功能集。可扩展性与功能
需要取舍，但支持绝大部分SQL功能集的线性可扩展云存储系统将出现并成为主流。

感悟

1,
权利与责任对等。有什么样的权利，就应该有什么样的责任。主管有带人的权利，就有考虑
其他人如何成长的责任；业务方说话声音大，是因为要背业务KPI。技术驱动业务是不现实的
，除非技术背负业务KPI。

2,
保持乐观。这个世界有太多的不公平，尤其是在天朝。然而，社会总是不断朝着公平这个方
向发展的，在互联网这个小圈子里面还是相对公平的。做好自己能够控制的，忽略自己不能
控制的，多想想你有什么，你想要什么，最重要的是，你还需要并且能够做什么？

3,
技术与业务。技术只有与业务相结合才能产生价值，从无到有做好一件事情，最重要的一点
就是是否精通业务；然而对于技术产品，比如存储产品，这件事情能够做到多大，技术的深
度会起重要甚至决定性作用。业务是从0做到10的能力，技术是从10做到1000的能力。

4,
坚持与执行力。一个人最重要的能力是把规划好的事情用最有效的方式执行下去，拿到结果
。规划是从多条路里面选一条路，既然是选择，而且这个选择过程可能很痛苦，那么这些让
人纠结的选择之间投入产出比一定是相当的。选择了就坚持下去，只要执行得好，往往都能
拿到好的结果，即使选择不是最优的。

生活

1, 英孚没有达到8级的目标，只到6级就没有坚持下来了，没有明确目的的学习往往很容易被其它事情打断；

2, 2011年没有学车，2012年必须学完；

3, 上下班时间太长，健身计划有些中断，2012年目标比较现实，每周去健身房跑步一次就可以了。

2010年度总结 作者: Chuanhui | 可以转载，
但必须以超链接形式标明文章原始出处和作者信息及版权声明 本文链接地址:
http://www.nosqlnotes.net/archives/128

流水账

依旧没房没车，依旧蜗居在北五环外，依旧为了梦想奋斗者，依旧是一个IT民工。

1,
1月份分布式项目组解散，转岗到商务搜索部门，经理对我很照顾，不过后来离职，欠他一个
人情；

2,
7月9日从百度离职，11日加入淘宝，百度是很不错的公司，不过现在看来加入淘宝是很明智
的；

3, 10月完成<<分布式系统工程实践>>，开设博客，定期写博客，上微薄；

架构

2010年是技术的收获年，07年初到09年底三年的时间一直在做MapReduce +
Bigtable的开发，虽然突破了很多的分布式难题，不过视野局限在GFS + MapReduce +
Bigtable三架马车上。10年开始做消息队列，研究对比Amazon,
Yahoo，Microsoft，Facebook，关系型数据库，向刘云以及基础平台部门众位兄弟了解搜索
和社区架构，难题请教阳老师，虽然理解都很肤浅，但对分布式工程有了一个更加整体的认
识。几个观点：

1, CAP牺牲Consistency是一种无奈的选择，不要盲目认为NOSQL就必须牺牲一致性；

2,分布式存储系统，存储引擎即数据结构；

3,
MapReduce线下计算是一种目前为止表现出色但很无奈的方案，其实我们希望更加实时而不是
批处理；

4,
Bigtable是王道但国内公司做不起，开源的Hypertable&HBase这两年应该可以做线下及半线
下应用，类似Bigtable的方案做线上服务开源界很难搞定；

5, Amazon
Dynamo这样的系统设计难度高应用场景少，前景不看好，对技术人员来说可以学习里面用到
的技术；

6, 关系型数据库与Key-Value这样的NOSQL系统互相借鉴，逐渐走向融合；

个人技术方向也基本确定：

1, 精通架构：深入理解线上，线下分布式存储&计算并能够形成完整的知识体系；

2,理解系统：理解系统，网络，IDC，虚拟化等相关知识；

3,掌握应用：通过应用证明和修正分布式知识体系；

由于我自己的逻辑思维能力相比记忆力要好，技术上更适合后端架构，所以技术方向基本为
大规模数据存储，计算以及数据价值抽取，比如数据挖掘等。

感悟

1,
道与术。技术上的道一般指多个系统之间的关联，普遍存在的共同规律，术一般指某个系统
的特性。对一个工程师来讲，需要在了解部分知识的时候就能够开展工作，这个阶段术用得
多，同时也需要定期总结道，形成知识体系，这才是核心竞争力。

2,出来混迟早都是要还的。互联网传播速度很快，一个好名声相当重要，我们做的好事不一
定别人都记得，但是做的挫事一定传播很快，所以，尽量帮助身边人，而且要真诚，真诚就
是首先说服你自己。

3,感恩。技术人员的特点就是简单，呆过了很多地方，每次都得到同学们照顾，每次都能学
到很多东西。我想除了感恩，还是感恩，感谢工作这几年带给我知识和快乐的同学们。

4,管理。其实每个人都是管理者，至少可以管理我们自己，管理我们的时间，管理我们的发
展，给身边的人带来快乐，做一些对社会有益的事情。

2011展望

1,
工作：通过应用验证现在跟着阳老师做的淘宝海量数据库方案可行性，这个目标十拿九稳；
当然，还需要完善系统使之朝着互联网上的数据库方向前进；

2, 技术：继续保持一周一博客，了解搜索应用，总结线上和线下应用的融合点；

3, 生活：责任性往往比能力更重要，对于家人，态度比付出多少时间更重要，质重于量；

4,
英孚英语达到8级。今年很失败的一点就是因为北京，杭州两地出差，英孚报名却没有去上课
，明年课程结束时最少达到英孚的8级水平。