读书笔记分享:《胡说IC》
#程序员# #读书笔记# #芯片# #半导体#
我是一个在北京互联网厂子里996的程序员,一边学习追赶新技术,怕被潮流甩下掉队,一边学习投资理财方法,让自己的薪水滚雪球。我相信,越努力越幸运,虽然刚开始雪球滚起来很慢,但是只要坚持下去,它就会越滚越快,自己的养老就靠它了。在财富自由的道路上,我与你共勉。欢迎来评论区与我交流心得和干货,这样我们就可以收获更多。
前段时间半导体行业特别火,所以也找了本跟芯片相关的入门书籍看了,看完之后,下次再看到相关的新闻,或者跟半导体行业的朋友聊天的时候就有共同话题了。下面我把读书笔记分享一下。
专业术语
IC:半导体集成电路:Integrated CircuitCMOS:Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)的缩写。它是指制造大规模集成电路芯片用的一种技术 或用这种技术制造出来的芯片。CMOS_百度百科DRAM:单晶体管动态随机存储器。NVM:非挥发性存储器,又称非易失性存储器,简称NVM,是指存储器所存储的信息在电源关掉之后依然能长时间存在,不易丢失。非挥发性存储器_百度百科ASIC:专用集成电路,Application Specific Intergrated Circuits,满足特定需求的集成电路。FPGA:现场可编程门阵列(Field Programmable Gate Array),同一片FPGA通过不同的编程数据可以产生不同的电路功能。SPEC:规格说明书。半导体,是一种导电性能介于导体到绝缘体的材料,最常用的材料是硅和锗,其最重要的特性之一就是:用一种叫做参杂的步骤,刻意加入某种杂质并应用电场来控制其导电性。摩尔定律:芯片每18个月集成度增加一倍,价格下降一半。背景信息
2000年世界IC产业向亚洲转移。
近几十年来每一次科技革命几乎都来自于
电子信息领域 。微电子技术史上的里程碑: 1948年贝尔实验四发明了晶体管1958硅平面工艺和TI公司发明集成电路产业链
整个电子产业来看,大致分为:硬件产业,软件产业,互联网产业(信息服务产业)。
集成电路芯片生产过程:芯片公司设计 - 芯片代工厂生产 - 封测厂进行封装测试 - 整机商采购用于整机生产。
一般芯片供应商分为两类:
IDM:Integrated Device Manufacture,垂直集成模式,就是产业链一条龙,每个环节自己都可以做。如三星,intel,IBM。Fabless:自己设计芯片,推广销售芯片,生产相关的就外包给制造厂商。如高通、博通、联发科。Fab-lite:相对于IDM和Fabless,其部分产品依靠自己的Fab制造,其他需要更先进制程或大笔资金投入的产品则委托给专门的Fab(如台积电)进行代工。Fundry:晶圆芯片生产代工厂商,主要承接Fabless的芯片生产委托。如台积电TSMC,GlobalFoundry,中芯国际(SMIC)、台联电(UMC)。封测厂:承接Flabless的封装测试任务,有日月光ASE,安靠Amkor,江苏厂电。代工厂和封测厂的主要成本在于:生产线投资(重资产),工艺开发,需要大规模的订单才可以支持生产线的利润。
EDA
Electronic Design Automation,电子设计自动化。是芯片的电路设计、性能分析、设计出IC版图/PCB版图的软件。典型公司有:Cadence、Synopsys,该领域就业面十分窄,但是稳定性非常高。
IP核
Intellectual Property,知识产权(智能的属性),是一个预先设定好的电路功能模块,其意义在于抽象出了公共模块,加速芯片设计开发时间。IP核的主要提供方式:Fundry和独立的IP核提供商。ARM和MIPS就是非常典型的IP核提供商。
IP核提供商的商业模式基本是:
一大笔IP技术授权费。这主要覆盖了公司IP核的研发成本。
使用了该IP核的芯片开卖了之后,每片芯片分成1~3%。这是IP核公司的主要盈利部分。
IC设计服务行业(Design Service)
代表有芯原科技VeriSilicon,GUC,eSilicon,灿芯。
IC设计行业
将系统、逻辑、性能的设计要求转化为具体的物理版图的过程。这是整个IC行业最重要和最具创新的环节。该类人才是国内半导体行业最需要的。
2012年全球前20的Fabless IC设计公司
高通;博通;AMD;英伟达;联发科;迈威尔科技;闪迪公司;LSI Corp;安华高;赛灵思;阿尔特拉;豪威科技;晨星;联咏科技;群联电子;CRS Plc;瑞昱;戴乐格半导体;奇景光电;展讯;
2012年中国前十大IC设计公司
海思半导体;展讯通信;锐迪科微电子;中国华大集成电路设计集团;杭州市兰微电子;格科微电子;联芯科技;国微科技;北京中星微电子;北京中电华大电子设计;
IC晶圆制造行业Fundry
芯片制造代工厂,根据设计公司提供的GDFS-II格式版图数据,首先制作掩膜Mask,将版图数据定义的图形固化到铬板的一套掩膜上。一张掩膜一方面对应了版图设计中的一层图形,另一方面对应于芯片制作中的一道或多道工艺。这过程叫做”流片“,工期大概是3个月。2014年一次28nm的IC项目流片一次就需要200万美金的成本。
IC封装
把类似台积电Fundry生产出来的芯片裸片(die)封入一个密封的空间,引出引脚,作为一个基本的元器件。
IC测试
检测出在制造过程中由于物理缺陷导致的不合格品。
通常封装和测试是一起的,即做完封装后直接测试,也有单独的封装厂和单独的测试厂。
单独的封装厂有:日月光;安靠;星科金朋;矽品;南通富士通;江苏长电;天水华天;单独的测试厂商:日月光;安靠;半导体设备和材料
制造半导体的主要材料是:硅;半导体设备的种类非常多,是IC产业链的掌上明珠,产业链最上游的环节,都是高端精密制造设备,垄断在美国,日本,荷兰三个国家手里。
-
国内有北方微电子,上海中微半导体,北京七星华创等公司。
IC分销和代理行业
作为整机制造商的IC供应方和IC设计公司的销售渠道,是IC产业链的最端的一个环节。
IC行业的职位
算法工程师:需要懂更加高端的数学知识,只懂微积分是不够的,随机过程和信号处理是必备知识。还有多读IEEE的协议。数字前端设计工程师:熟悉各种门(与非门)设计,将概念想法变为网表。芯片验证工程师:验证所设计的逻辑代码是否符合预期,是否实现了预定的规范。(如是否实现了H.264的解码功能)后端设计工程师:将前端设计工程师给出的门级网表(netlist)转换成标准的GDS文件,又被称为设计实现or物理设计。前端工程师保证芯片的功能正确 ,后端在生产之前保证芯片的实现正确 。模拟IC设计:处理连续性的光、声音、速度、温度等自然模拟信号的IC被称为模拟IC。模拟IC处理的这些信号都具有连续性,可以转换为正弦波研究,而数字IC处理的是非连续性信号,都是脉冲方波。版图工程师(layout engineer):将前端设计产生的门级网表,通过EDA软件进行布局布线和物理验证 ,最终产生供制造用的GDSII数据的过程。主要工作职责有:芯片物理结构设计、逻辑分析、建立后端设计流程、版图布局布线、版图编辑、版图物理验证、联络代工厂并提交生产数据。产品工程师(Product Engineer/ Product Owner),其在产品事业线里担任着非常重要的角色,他负责一个产品从生到死的全部过程,他既扮演者项目管理者 的角色,又在产品研发和量产过程中遇到技术难题时能够利用自己的专业知识和广泛的经验提出技术建议,从而提高团队效率. 其角色非常类似于互联网行业的“产品经理” 的角色。 测试工程师:用各种方法检测在制造过程中由于物理缺陷引起的不合格的样品。没有完美的产品,也没有完美的测试的,测试的艺术在于使产品和设计趋于完美。测试成本和产品质量之间要达成一个完美的平衡 —以最小的成本获取需要的质量等级 。FAB工程师:即Fabrication(工厂),该领域包含了一大堆的芯片代工厂的职位。台积电就是最好的代表.封装工程师:封装:将硅片上的电路管脚(I/O)用导线接引到外部接头处,以便于PCB上其他器件连接。常见的封装方式有:BGA,PGA,FC-PGA,等等。职位包含:封装工艺工程师(Process Engineer);封装设计工程师(Package Engineer);等等职位。硬件设计工程师在整机公司里: 做硬件开发,被称为“硬件工程师”or“系统工程师”在IC公司里: 又称为“IC应用工程师”,随着IC行业的发展,IC公司已经不仅仅局限于芯片的销售,同时也会提供芯片的整体解决方案solution和评估板evaluation board;在IC公司里硬件开发的主要目的是如何在硬件系统里将公司芯片的性能发挥到极致 。嵌入式软件工程师:以实际应用为目标,以计算机技术为基础,并且软硬件可裁剪,适用于对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统。一般由 微处理器、外围硬件设备、嵌入式操作系统、用户程序 组成。按照处理器分类:ARM、MIPS、X86、PowerPC按照OS分类:LInux,WinCE、VxWorks按应用分类:消费电子产品、通信产品、监控产品IC市场营销定义:Marketing 负责公司信息搜集、市场分析、战略规划 、营销企划、运营计划、品牌推广的部门。是公司的信息中心和决策中心。Marketing vs Sales最大的不同是,他站在全局和整个公司的利益角度看待问题。Marketing的水平和能力在很大程度上决定了公司的未来。横向的分类 :产品市场 : 制定公司的发展路线和新产品的开发战略。主要工作职责包括:竞争对手产品分析、信息收集、市场分析、战略制定、新产品定义、研发项目管理 等。此工作是Marketing的重中之重,必须以客户和市场为导向。做正确的事永远比正确地做事重要。市场运营 : 负责现有产品的营销策略和运营计划。主要工作职责:新产品的导入、现有产品的推广、产品的市场定位和价格策略、渠道管理,以及市场预测建议生产计划 等。市场拓展 (商务拓展):负责拓宽产品渠道,在上下游产业链中寻找商机,开发和维护公司合作伙伴、建立战略伙伴 等。市场宣传 : 负责公司产品的推广、品牌宣传策略。主要职责有:媒体关系处理、展会安排、宣传材料的制定、对销售和代理的培训 等。纵向的分类 : 就是按照“产品线”会有PLM:Product Line Manager,即产品线经理,其负责管理产品线并对该产品线相关的事务负责 ,涉及上面横向分类中的部分甚至全部职责。从MMaster公司的营销总监的访谈中学习到的一点:对保证团队战斗力方面的建议:建立共同的核心价值观。很多人把这个归结为某人的沟通技巧好,沟通能力强,然后却本末倒置了。实际上“只有在有共同的目标,共同或者相同价值观和相对兼容的操作体系”下,很多事情才可以拿出来谈,而所有这些都建立在信任的基础之上 。对销售和研发部门的分工协作的建议:市场营销部门应该对一线市场足够熟悉、对生意模式和玩法把握到位前线的兄弟要把自己的感受、市场状态、运行方式有效地传递到研发端,让研发端也要了解基本的“生意经” ,让大家都在参与进去,都要清晰规则要隘,否则研发端会感觉自己就是个被动的参与者,非常容易产生矛盾IC销售工程师Sales:负责产品在国内外的推广和销售、产品销售渠道的建设及完成渠道销售的任务。其工作职责有:定期拜访客户维持关系,管理代理商,挖掘新客户负责现有产品的报价,跟踪新客户新方案,实现销售目标。产品的报价必须要在了解这些因素之后才可以得出 :采购时间、采购数量、采购频率、预期价格、竞争对手报价,等。负责产品全生命周期的跟踪协调,可以认为是个项目管理 的事儿。销售预测、代理商库存管理.市场/技术/产品/竞争对手等信息收集,跟 Marketing保持密切配合。新产品推广宣传,参加展会。FAE(Field Application Engineer):现场应用工程师/技术支持工程师,隶属于销售部or市场部。主要职能有:售前 :对客户进行技术引导,给销售人员引流;售后 :对客户进行技术指导,将市场信息反馈给研发人员;学习到一个新的知识点
IC设计分工越细,参与的人就会越多,表面看是缩短了开发时间,实际上产品的质量风险加大了 ,因为参与的人其设计风格思路习惯水平差异很大,最后debug时间很多,然后产品就一再delay,所以,最好的办法就是用尽量少的精兵一气呵成,当然这帮人就的持续加班 。【这个例子用在高科技行业的任何一个专业技术领域都是适用的】
职业生涯的中长期规划路线
在看书过程中,对市场营销这块的讲述特别有印象,帮我解答清楚了marketing和sales的区别。
其他学习资料
芯片制造过程
AMD CPU製作過程中文 - YouTube中兴禁令之芯片为什么这么难做?芯片的基本原理是什么?李永乐老师带你了解!(2018最新) - YouTube認識晶圓的製造過程 - YouTube中兴事件爆发,你知道芯片制造有多难吗 HD - YouTubeCPU工作原理
CPU到底是怎么工作的? - YouTubeSee How a CPU Works - YouTube晶体管的工作原理 - YouTube芯片内部是如何实现加法运算的?模拟信号和数字信号有什么区别?李永乐老师讲解门电路(2018最新) - YouTube行业动态
中芯打败台积电,获得华为海思14nm订单,今年还要量产7nm - YouTube中芯国际能扛起中国“芯”制造的大旗吗? - YouTube芯片制造的核心:光刻机!中芯国际在购得EUV光刻机后差距还有多大?梁孟松的传奇(58) - YouTube《中国经营者》 谢志峰 二十年磨一剑中国 芯 - YouTube好了,今天的分享就到这里。 如果大家觉得我的分享对你有用,还请点一点关注,在评论区跟我交流,我会持续分享一些有用的知识点和心得。
老兵戴辉讲述海思监控芯片从0到1的血泪史!如何一步步成为霸主的
来源:最牛博弈 作者:戴辉
作者按:2004年海思半导体成立后,第一颗大规模销售的芯片(视频编解码芯片3510),并不是依赖内部客户成功的,而是一出生就不得不直接面对残酷的市场!老兵戴辉耗时数月,向多位参与这段历史的人士进行了详细调研,此文实为呕心沥血之作。通篇一万字,长文慎入。
引 子
2018年9月28日晚,“张学友经典巡回演唱会”在河北奥体中心体育场举行,现场观众超过3万人,当地警方全力投入安保工作。人脸识别系统配合高清视频监控部署在场馆及周边重点区域,秒级识别布控系统中的黑名单人员被识别而触发了报警,协助警方快速抓获3名在逃人员,宇视科技称使用的是其智能化方案。这已经是第三次在学友演唱会上抓到逃犯了,业界巨头安防巨头们都参与了其中。
“我听到时第一反应是:这是为什么呢?后来我查证了一下,才发现其实是我们国家太先进了,大数据是很先进的,所以只要在我们国家犯了法,无论是去听我的演唱会还是去便利店,都是很容易被抓到的,所以还是不要犯法。”逃犯克星张学友回应道。
走在街头巷尾,抬头看到摄像机,心中就多了一分安全感。深圳的治安比20年前可是好太多了,中国大建“平安城市”的举措确实维护了社会稳定。
“平安城市”推动下,巨大的安防市场孕育出了巨大的产业。全球的摄像机(或者模组、电路板)大部分是在中国制造的。众所周知,海康威视、大华、宇视(千方科技)是数字安防市场的三强,当然除了它们,中国还有众多的中小企业。不仅是安防,直播、通讯、工业等众多领域也要用到类似的设备。
前段时间,美国政府建议以国家安全为由禁止美国联邦政府采购某些中国制造商供应的视频监控设备。我这才知道,原来它们已进入到美国的公用事业了。
无论如何,中国已具备强大的电子整机设计和制造能力,那么,问题来了:视频监控的核心系统芯片是谁家的?
摄像头的芯片主要包括两大部分:
1、用于成像的CMOS传感器,主要供应商有索尼、豪威(被韦尔股份收购)、格科微(上海)、安森美、思特微、比亚迪等中外企业。
格科微在中国率先开创CMOS传感器产业,与中芯国际有合作。格科微创始人是清华毕业的赵立新,他的父亲是远近闻名的工匠,当年他暑期回来在作坊里挣学杂费,我还专门去观摩过。
2、系统芯片(SoC,system on chip,也叫片上系统)。包括了编解码单元(用于压缩视频流),CPU(系统控制),ISP(图像信号处理)等几个部分。注意,早年上述每个功能都是分立的芯片,现在可以集成到一颗芯片里了。
至于这颗安防芯片,所有的行业人士都会异口同声告诉你,海思是霸主,每年收入达到十亿美元量级 ,现在已经占据了该市场百分之八十以上的份额。
图注:2016年的编解码芯片出货占比,数据来源IHS
海思的份额远远超过了传统芯片巨头德州仪器(TI)和安霸(Ambarella)。最近甚至传言,TI要退出安防芯片市场了。
第一章 关于视频编解码
华为手机之所以成功,最重要的原因是有强大的基带能力,也就是手机的通信能力。
苹果最新款手机上市以来,业界关于“信号不够好、速率不够快”议的讨论,都怀疑是因为采用了英特尔的基带,性能不如高通强。
高通在基带上很厉害。顺便整合了周边的资源(如CPU等),连带着手机的系统芯片(SoC)也卖得很好,所谓“卖基带送CPU”战略!
IP数字摄像机(IPC)的系统芯片,则是以编解码能力作为核心的。谁能做好编解码,谁就能整合周边资源来提供一揽子的SoC(系统芯片)方案。
这就是海思的“吸星大法“!
我们先从分辨率说起。视频画面,分辨率越高,就看的越清楚。一般说来,高清=720p,全高清=1080p,超高清4k是4096x2160或者3840x2160。单位都是pixel(像素)。分辨率与镜头和图像传感器息息相关。
不过,分辨率越高、清晰度越高,原始图像数据量也越大,就要求越来越强大的编解码算法来压缩文件的大小,要不根本就存储不下来,也传送不出去。
老兵戴辉先啰嗦一下,来看看编解码标准的演进。1994年,我的本科毕业设计就是在东南大学罗立民教授领衔的图像实验室里,在吕玉琦教授指导下,完成了JPEG的计算机实现。这是世界上第一个静态图像压缩标准,是1992年定义的。在这一点上中国与世界基本同步。
我在一台386电脑(没有协处理器)上,用十分钟完成了一张512*512像素的黑白图片的压缩或解压缩,可以将文件大小压缩到原文件的十分之一。
答辩的时候,我第一个上台,老师们精神很好,问:如果改一下里面的某个算法会有什么不同的效果? 当年的菜鸟“小兵戴辉”老老实实地答:我不知道,我是一丝不苟按协议来实现的!
图注:东大图像实验室当年在《人民的名义》拍摄地大礼堂的副楼
我后来在中山大学的研究生同学梁凡的本科毕业设计也是JPEG编码的实现。不过他算得快,他用的是快速查表的方式,没有像戴辉一样简单调用COS和SIN函数。当年的我,曾颇有些“既生瑜,何生亮”的感觉,现在却要沾这位学术精英的光了。
言归正传。手机里照的照片,通常都是使用JPEG算法来压缩,大小在几M左右。如果选择采用”RAW“格式,才是真正的“原图”,未经处理和压缩,大小通常有几十M。
图像之后,就进入到视频时代了。九十年代后期,录像机迅速被淘汰,VCD、DVD风起云涌。这个时候,基于视频的编解码标准就粉墨登场了!DVD用的是MPEG-2压缩标准。
在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上。举个例子,原始文件的大小如果为88GB,采用MPEG-2压缩标准压缩后变成3.5GB,压缩比为25∶1,而采用H.264压缩标准压缩后变为879MB,压缩比达到惊人的102∶1。这对于节省视频的硬盘存储空间,和降低对网络传输的带宽要求,都有巨大的好处。
现在,最新的视频编解码标准是H.265,它的压缩能力比之前的H.264还要强一倍。
不过,这是要付出代价的,编解码标准压缩能力提升,也对CPU的计算能力要求越来越高!所以芯片里的晶体管尺寸越来越小,就是为了在芯片里面容纳更多的晶体管,以实现越来越大的计算能力。
华为在编解码的国际标准上参与了不少制定工作,是最新的H.265标准的主要技术贡献者。4G网络打电话时用到的VoLTE技术,就要用H.264的编码算法。
有网友笑谈:以后看纤毫毕现的爱情动作片,也可用到华为的技术了!
第二章 决定要做视频编解码芯片
1996年,华为在研发上考虑向交换机以外的领域扩张,刘启武组建团队开发会议电视和视频监控产品,并成立了多媒体业务部。
会议电视好理解,就是用来开会的设备,后来华为还推出了“智真”视频会议平台。
图注:东大校友于京、沪海底捞通过会议电视吃火锅
华为视频监控的第一代产品主要用于通信机房监控,后来公司把这块业务与华为电气的环境动力监控业务整合在一起卖给了艾默生。
2006年华为重新进入该领域,主要结合运营商“全球眼”需要做监控软件平台,不过,华为自己基本不做摄像机整机,如果需要,就到外面去找OEM。
华为这些业务做得也不错,但是市场比较分散,华为只是主要的玩家之一。在规模上,与公司其他的基站和手机这些超级大块头相比,更是远远不及了。这些都是后话。
2004年10月,华为成立了一个叫海思的子公司(小海思),从事外销芯片业务。与此同时,服务系统的芯片和公共平台归在2012实验室,叫大海思。
2005年,海思艾伟 牵头,定义了几颗消费电子芯片的规格,包括SIM卡、机顶盒芯片、视频编解码芯片等。
华为搞多媒体业务的有两块。华为软件公司数字娱乐产品线(IPTV、视频监控软件平台)的负责人是张国新和“隔壁老王” ,华为终端公司(会议电视和机顶盒)负责人李云白和王兆祥 ,都参与了海思多媒体芯片产品规格的定义。
视频编解码芯片的开发负责人是杨锋国(PDT经理)、罗琨。
会议电视是华为的老产品,该颗芯片最初的设想是在在会议电视上先用,这个开发思路和华为以前为系统设备开发配套芯片的思路是一样的。举个例子,1991年徐文伟领衔开发出的华为第一颗ASIC就是用在自家的程控交换机的接口板上。
第三章 前三年收入几乎为0
当时,任老板为海思的发展定下的目标是:招聘2000人,三年内做到外销40亿元人民币。前者很快就完成了,后者却遥遥无期。
其实编解码芯片不是海思规划的第一颗外销芯片。第一颗是SIM卡芯片,立项的时候,市场上一片卖到十美元。等做出来的时候,价格已经跌到一人民币一片了。技术门槛不高,竞争激烈,于是海思直接放弃了这个业务。真是当头一棒啊。
2004年至2007年的这三年里,海思消费芯片对外销售几乎为零!
屡战屡败,屡败屡战。
芯片要想获得第一个大客户非常艰难,也就是所谓的“从0到1”困境。理想总是很美好的,但是现实却很骨感。
上面提到,视频编解码芯片原计划首先用在会议电视上。不过会议电视这个产品有个不好的地方,就是平时都是领导在用,出了问题裹都裹不住,反而影响华为的大产品销售。因此,会议电视产品如果用来给刚出来的海思芯片做实验,一线的销售员就很可能拒绝去卖了。老兵戴辉在销售体系干了八年,对这样的心态特别了解:小产品千万别给我惹事!
无奈之下,海思必须出去找市场。早期开拓市场就是一部血泪史。负责销售的何志强(原电信系统部部长)愁白了头,因为实在是和以前对运营商的销售模式实在太不同了!
上帝为你关了一扇门,就会给你打开一扇窗。如果都不开,那就开空调!
后来海思误打误撞进入了数字安防市场。
2005年11月,海思第一次参加安博会(全球规模最大的安防专业展览会),艾伟面对众多安防厂家侃侃而谈,为即将诞生的芯片预热市场。
2006年6月,海思在TAIPEI COMPUTEX展会推出了H.264视频编解码芯片Hi3510!
图注:2006年视频编解码芯片国内出货占比,国产份额很低,IHS
老兵戴辉采访了创立常州明景电子的郑晖,该公司曾是中国最大的高速球形摄像机厂家之一。郑晖是老三届,谈起东南大学的求学生涯,他最大的遗憾是:没去舞厅跳过舞,少捏了好多学妹的小手!
2007年6月26日,郑晖一行应邀访问了华为,并实际参观了华为最早这款3510的表现。他对这次交流印象一直很深刻,他感觉海思的芯片用起来发热有点大,还不能用在对环境要求高的高速球机上。不过,这也是其他芯片的共同问题,毕竟H.264芯片业内大家都是才做出来不久。
图注:左一海思孙微风,左三常州明景电子郑晖,左四海思市场负责人何志强
第四章 数字化带来历史机遇,大华股份给了海思第一个大订单
本世纪初,随着数字技术的发展,整个行业对模拟设备进行数字化改造。但是前端模拟摄像机存量很大,同轴电缆连接也一时半会很难改造。
后端的传统磁带录像机因为集中,很容易改造成硬盘录像机DVR。机会来了!
传统的磁带录像机,要使用大量的磁带,存储空间消耗很大,要查询历史资料也很麻烦。举个例子,一个银行网点的视频监控记录通常要保留一个月,要有一个房间来保留堆积成山的录像带。
DVR硬盘录像机的硬盘存储容量很大,可以管理多块硬盘。资料超过保存时效后(如一个月),可以自动被新的视频所覆盖。
在DVR硬盘录像机市场上,中国厂商(如海康和大华)是以开拓者的身份出现在中国和全球市场上,并异军突起最终成为领导者。硬盘录像机有两种形态,电脑板卡以及嵌入式(见下图)。
图注:模拟摄像机和DVR
第一代DVR在上世纪末开始有,支持MPEG-2压缩算法(DVD就用这个算法)。早在2002年,大华股份推出的业内首台自主研发8路音视频同步嵌式DVR,就是第一代的。主流硬件方案大部分是飞利浦半导体(后来独立出来成为NXP)的SAA7113+PNX13系列。
第二代DVR从2005年开始发展,典型特征是:采用 MPEG-2/H.264视频压缩算法,具备VGA/HDMI高分辨率显示接口,当时国内外支持H.264压缩的芯片也都是刚发布不久(我们看的DVD和和蓝光HD-DVD分别用的是MPEG-2和H.264算法)。
上文提到的郑晖在2006也开始做第二代硬盘录像机,采用了美国一家公司的芯片来做,入门费就花了10万美元。金融危机来之后,这家芯片公司垮掉了,所有投资都打了水漂。
海康一方面继续沿用飞利浦半导体(NXP)的芯片来做第二代硬盘录像机,但发热比较严重,所以同时也在用TI的芯片。
来得早不如来得巧。海思的H.264视频编码芯片就在这个关键时候,出现在市场上!
当时华为在业内没有什么什么品牌知名度,第一个客户是如何获得的呢?
当时,华为软件公司用配合运营商的“全球眼”来做视频监控软件平台,没有摄像机,就去和海康与大华谈合作购买。
软件公司隔壁老王就和海思负责华东地区业务的孙微风与浙江的销售员殷建国一起去了!
今天大名鼎鼎的海康CEO胡扬忠以及大华股份董事长傅利泉都曾出来见华为的代表团。
大华开发第二代DVR,支持H.264的芯片当时也挺少。它在DVR上想守正出奇,做出新意来。殷建国就象蚂蟥一样,死盯着安防老二的大华不放,并推动海思与大华在研发层面进行紧密的战略合作。
2007年,大华和海思签订了20万片H.264视频编码芯片的合同(3510、3511),用于当时快速发展的第二代硬盘录像机上。最近,我也向大华总裁李柯先生确认了以上的信息。
看来这个事实已经是板上钉钉,谁也赖不掉了:大华股份的这份订单,是海思成立后,第一个真正意义上的外销芯片大合同。 特别值得划重点的是,这款芯片此前并没有机会在母公司的设备里首先使用!
朋友圈里的资深芯片评论员捕头宋兵说到:“天下武功,唯快不破。在摩尔定律的驱动下,IC行业是典型的时间性行业。机遇的时间窗口期稍纵即逝。”
此后,海思从单独的编解码芯片出发,后来又做出了系统芯片(SoC)。2010年开始大规模进入全球最大的安防摄像头厂商——海康。
相比国外供应商,海思提供了比较完整的解决方案,还不用昂贵的入门费。后来中国厂商在中国和全球大卖DVR!于是鼎盛时期海思也占领了79%的DVR芯片市场份额。
汪海曾经带老兵戴辉参观过华为自身园区的安防设施。最早期都是一水的模拟摄像机,由霍尼韦尔、IBM、西门子等公司总包。老兵戴辉以前在海外某办事处工作时候,是租赁的写字楼,周末丢了三台未开封的便携,要在物业的小监视屏那里要看完48小时的监控好难好难,最后大家绝望的放弃了。
华为视频产品线对自身的园区进行了数字化改造之后,就可以开始采用人工智能技术了,比如车牌号码识别、人脸识别、人数统计、虚拟警戒线等。
第五章, IP化和高清化技术革命,海思成了视频领域的联发科
数字化和IP(互联网协议)狂潮来临。支持IP的网络摄像机(IP Camera)迅速发展了起来。
在平安城市、数字城市、智能城市、智慧城市建设的推动下,中国则已成为全球最大的安防市场!
中国主要采用网络摄像机, IHS解释,一是中国新的建筑中传统同轴线缆相对较少(都是网线),二是网络摄像机的价格也相对较低,三是中国的大项目往往要求可扩展,在这几点上IP有独到的优势。
在数据通信方面非常强悍的华三设立了视频监控产品线,引领了IP化潮流,还做了一个叫imos的操作系统。IP化之后,组网比以前方便了很多,可以直接拉网线,不用拉同轴电缆了。
该产品线后来独立成为宇视科技,“imos inside”最近还上了新闻。宇视科技抓住了海量摄像机硬件的最后机会跻身三甲。“北航辛弃疾”张鹏国,漫卷诗书喜欲狂!
网络摄像机(IPC)是前端,后端用NVR(网络视频录像机),请见下图。
因为有悠久的音视频编解码技术和口碑,TI和安霸在网络摄像机(IPC)领域当时的市场份额很高。
记得有一年,老兵戴辉参加安博会时,曾参观了海康的展台。老兵戴辉问海康员工:“海思的芯片如何?” 当时得到的答复是:“华为的芯片用于便宜的摄像机,TI的用于高端!”
2012年8月14日 ,屡次持枪抢劫的悍犯周克华在重庆沙坪坝童家桥一家皮鞋厂内被警方击毙,其中海康的高清摄像机立了大功。后来高清就成为平安城市标配了。
插一句说一下,NVR的系统芯片市场是由海思、TI、Marvell等几家厂商分食。
也就在这个巨变和快速发展时期,海思成了视频监控领域的“联发科”。
众所周知,2006年,联发科(MTK)推出了GSM手机的TURNKEY(交钥匙)解决方案。联发科不仅提供芯片,还提供电路板整体方案,甚至提供平台软件。这个方案使两三个人就能搞出一个厂,生产手机整机,可以仿地雷,可以带六个喇叭,做你能想到的一切!一夜之间,数千家“山寨”厂冒出来,深圳的“寨都”因此得名。
SoC就是系统级芯片或称片上系统。 通俗点说,就是将电路板上的多块芯片以及嵌入式软件,全部塞入一块芯片中。这意味着,在单个芯片上,就能完成一个电子系统的功能。可想而知,SoC在性能、成本、功耗、可靠性,以及生命周期与适用范围各方面都有明显的优势。
有了SoC之后,海思的整体解决方案在成本控制等方面获得很大优势,成为了国内领先的视频监控解决方案,就和联发科一样。开发环境也是基于PC的,对众多缺乏技术能力的小制造厂很友善。
站在巨人的肩膀上,才能看到更远,做SoC都要广泛合作,不可能什么都做。要去购买其他厂家的IP(知识产权授权),可以是软核或者是硬核。这是海思的“拿来主义“与“吸星大法”!
海思的这款SoC解决方案,CPU采用英国剑桥的Arm架构,和手机一样。同时构筑了嵌入式操作系统,采用的是裁剪过的Linux操作系统。
图像信号处理器ISP(Image Signal Processor)非常核心,在知名CMOS传感器格科微工作了十来年的湖杉资本李翔告诉老兵戴辉,海思最早购买的是豪威(OmniVision)的IP(知识产权)授权,后来自研成功。
据说最早那颗芯片(3510)的视频编解码算法也有对外合作的部分,但我已经无从考据了。
用一颗海思的SoC芯片,加一些外围的分立元器件,就可以做成一个IP摄像机的电路板。入门级的只要八十块钱。厂家在这上面加上电源以及镜头等光学器件,就可以做成五花八门各式各样的入门级摄像机。
什么东西中国人会干了,价格就会大幅下滑。
注:2006年至2016年编解码芯片价格趋势,来源:IHS
2012年,接了殷建国班的驻杭州销售员成了Top Sales,光是海康和大华的订单就就卖了一千多万片,实现了海量的发货! 也在此年,华为的手机芯片K3V2开始在D1四核版上使用。
殷建国说:因为职业习惯,开车的时候总是要看路边有多少摄像头,以前是几个路口才一个,现在是一个路口好几个。摄像头也深入到了社区和楼道!
曾在东南大学学影像的沈昱,毕业后去了国内会议电视公司POLYCOM工作多年,创业进入工业级高清摄像机领域,我采访了他。回忆起历史,他告诉我:“高清成像离不开高性能的成像算法芯片,之前我们的成像算法是运行在国外公司的可编程逻辑器件FPGA上,相当于在一个空地基上搭建起一所高楼,所有的软件工作都要自己完成,需要大量的工作,且可扩展性也比较差。”
沈昱又说到:“自从海思推出了专门针对于高清成像和编码产品开发的高端SoC系统芯片系列后,我们一直保持关注和跟踪,在实践中,发现海思的产品越来越能满足我们的需求,且有很不错的性价比。海思的351x系列SoC芯片接口丰富,内置了各种ISP算法模块和音视频编码模块,开发平台功能强大,技术支持及时高效,便于我们快速实现产品开发和迭代;海思开放的软件架构也便于我们嵌入自己的专有算法和软件模块,体现产品优势。我们在产品中广泛使用了海思的3516C/3516A/3519等SoC芯片。”
沈昱还提到:“我们采用海思的3519在业界率先支持4K级高清图像应用,为我们追赶和超越国外领先厂商提供了强有力的帮助。”
图注:博胜智达率先支持4K超高清,用H.265编解码算法
到了最新的H.265编解码标准时代,华为已经是标准的重要参与者之一,并有了不少的专利。
早在2014年9月,海思就基于H.265/HEVC标准推出业界第一颗高清网络摄像机处理器Hi3516A。
一流企业卖标准(授权),二流企业卖技术(芯片),三流企业卖产品(制造),四流企业卖力气。
值得一提的是,2010年开始,安防领域也有了国内自己的标准:SVAC,由公安部和中星微联合研制。 某些专用环境下会要求使用该标准,以后会发展到什么程度,还要拭目以待。
第六章, 人工智能创造了一个新世界
大约2009年,老兵戴辉出去调研过车牌号码自动识别这个市场。一路自动识别,需要增加成本人民币6000元左右。
然而这个市场崩溃了,因为TI和华为,直接免费赠送。
2010年5月13日TI推出了首款具有智能分析功能的百万像素IP摄像机SoC——达芬奇(DaVinci)DMVA2视频处理器,将车牌号码自动识别的算法免费赠送。
很快,海思也打包赠送了车牌号码识别算法。 不过两者的技术方案却有本质的不同。
TI的DSP(数字信号处理单元)无比强大,华为的GSM基站就是基于TI的DSP来做基带处理,开发成本低并且可以灵活加载。但是从3G开始,都采用自己开发的专用芯片(ASIC),效率更高,功耗更低。
在视频监控芯片上,传统巨头TI采用的是Arm(CPU)+DSP架构,能灵活加载各种算法,可以通用于各个行业。
北大深圳研究院赵勇先生说道:车牌号码识别可以认为是最早一个阶段的人工智能。海思的成功之处是将视频编解码算法和人工智能算法都做成了专用的芯片内核,使用硬件解码,因此效率更高。
华为采用的是Arm+IVE架构,IVE是做成了芯片硬件内核的智能视频分析加速引擎。在安防这个垂直市场上,在功耗、成本和运算效率上都优于TI。有家叫智芯原动的公司声称对此作出了贡献。
Anyway, “无卡停车”这个大市场被发掘出来,现在绝大部分停车场都是直接做号码识别,不用再费事拿卡了。周奇担任董事的ETCP承包了很多停车场。
近年,华为宣布重新做安防摄像头,震动业界。这无疑直接动了海康和大华的奶酪。
2017年10月,海康威视CEO胡扬忠接受采访时说:大家都觉得芯片是企业核心竞争力最重要的体现,但在我们眼里并不是这样。2009年,我们就做了一个重要的决定,去做解决方案、做软件,这样可以更加靠近客户。在我看来,提升硬件没有做软件系统的重要性高。不一定每家公司都要做自己的芯片,本身芯片市场就有竞争。
然而最近了解到,海康和大华都在积极构建自己的AI算法和设计自己的AI芯片,弯道超车。随着这些技术的普及,张学友演唱会抓捕和追逃也就不会再是什么新鲜事了。
未来的世界,群雄逐鹿,拭目以待。
基于摄像机的人工智能,大家见得比较多的有两类。
一类是交通警察查违章,闯红灯,乱变道等,可以自动分析出来。例如,我收到了一个让我伤心的短消息:乘客没有系安全带,罚300元!
另外一类是人脸识别,在银行里面办业务,海关进出关,甚至小区门禁,都已经开始广泛使用。我知道的有商汤科技和旷视,以及有华为基因的瑞为信息、京科凌智等。我一个外号叫“张果老”的老朋友(张国友)就专门做闸机,将第三方的人脸识别算法装进去,据说还卖给腾讯和深圳地铁了。
第七章, 一花独放不是春,到处都是传奇
中国人在应用上的创新,推陈出新。
老兵戴辉自己也陷入了工业视觉的人工智能领域。有份参与的明锐理想科技采用高清摄像机技术来对SMT工业和芯片封装进行视觉检测,分辨率可以达到1.47微米。明锐理想也开发了丰富多样的智能算法来判断焊点和焊线的质量。这是一个五彩缤纷的世界。
图注:明锐理想AOI拍摄的芯片封装照片
上观新闻王海燕记下了罗勇的传奇故事。罗勇2004年桂电硕士毕业后成了“小海思”多媒体产品部的“元老”, 当时只有5个人。万事开头难,他经历了海思IP摄像机芯片从0到壮大的全过程。
2013年罗勇走出海思,推出了“盯盯拍”行车记录仪,并第一个和智能手机结合起来。2015年,“成都女司机”事件中,后车盯盯拍行车记录仪提供的关键证据戏剧般地扭转了整个剧情。罗勇使用的正是当初自己规划的IP摄像机芯片的后代产品。当初从芯片开发者的视角揣摩客户的想法,如今又作为客户使用该芯片,并将用户体验建议反馈给海思。历史就是这么奇妙。
图注:戴辉(左)与罗勇(右)
海康威视投资的富瀚微是做ISP(图像信号处理)起家的,在模拟摄像机上一直有一定的市场份额。
但是在数字摄像机(IPC)上,海思从编解码出发,集成了ISP和CPU,做成了SoC,对富瀚微毫无疑问是很不利的。因此,以其人之道,还制其人之身,富瀚微也从ISP出发,集成了编解码和CPU等,做成SoC,并已经成为了海康IP摄像头的芯片供应商,与海思竞争。
中星微是从PC摄像机的图像输入处理芯片起家并上市的,还参与了国内的安防标准制定。
国科微是从卫星机顶盒芯片出发,有较强的编解码能力,也进入到视频监控SoC领域。
君正是做CPU起家的,其IP SoC摄像头芯片在小米和360的家用摄像机产品中使用。
做系统的就非常多了。东方网力主要做VMS(视频管理平台);苏州科达和苏大维格在专业市场的会议电视可圈可点;高新兴子公司国迈在交警、城管的执法记录(佩戴式摄像机)的存储和处理等方面做得不错;兴天下很早就做数字式的楼宇可视对讲等。
投资圈里,华科毕业的龚虹嘉投资海康威视获千倍收益一炮成名。
结 语
海思抓住了中国在数字安防领域大力投资的黄金机遇。一句话:天时、地利、人和。
天时:踏准了数字化、IP化、高清化、智能化几个技术革新的重大时间节点。
海思的策略取得了成功:聚焦安防这个细分领域,将算法固化到ASIC专用芯片上来提升效率和降低功耗!
地利和人和:中国有众多制造企业,华为提供了交钥匙的芯片加操作系统解决方案,开发环境友好,满足了众多企业的要求。
请注意:老兵戴辉即将发表本文的姊妹篇《海思机顶盒芯片是如何成为霸主的》,这是海思创造的另外一个多媒体芯片奇迹。敬请关注。
老戴也正在写海思的物联网芯片(WIFI, NB IoT, PLC)等,如果您使用过,或者了解海思的同行的情况,欢迎将体验告诉我 daihuichina@qq.com。 谢谢!
相关问答
两相电怎样使三相电机转动?
朋友们好,我是电子及工控技术,我来回答这个问题。两相电如何让三相电机转起来,对于这个问题我在工作中遇到过,现在我把做法给朋友们分享一下,希望能给需要的...