广西中小学教师科学营物理教师一行来访半导体所
哞星人能看到彩虹吗?
科学的光荣,哲学的丑闻:怎么对付“归纳”带来的麻烦?
“千克”的概念是怎么被定义的?
熵:从物理到通信到金融
太阳的秘密
物理大神捉妖记
话说地震
在太空是一种什么感觉?航天员:那是前所未有的孤独
有害垃圾之废灯管都去哪儿了?
官方微信
友情链接

熵:从物理到通信到金融

2019-07-16
 
一、从牛顿投资说起

谈及物理学,从牛顿说起应该是一个不错的开始。牛顿对现代科学的许多方面有奠基性的贡献。他通过发展微积分、经典力学和万有引力理论,成功地计算了行星的运行。值得一提的是他赶上了人类历史上一次有名的投资泡沫。

 

当时,南海石油公司据说发现了大油田,消息经过炒作,人们疯狂地涌向这家公司去投资。许多人拎着钱袋,排队夜宿街头,挣抢着给这家公司的投资代理商送钱。一时,尘嚣四起。

 

等尘嚣散去,像所有的投资泡沫一样,许多人亏了钱。折合成今天的币值,牛顿亏了大概超过一百六十多万英镑,约一千七百多万人民币。

 

事后,牛顿说了一句话:“我可以计算出天体运行的轨道,但不能描述人们的混乱和疯狂”。这样看似有些气馁的话,实际上显示出牛顿的超人远见之处。因为他体会到了,要描写人们的疯狂混乱,需要经典动力学以外的概念。第一个需要的概念就是:熵。

 

二、玻尔兹曼熵

 

热学,这个发源于研究基本的热传导现象的学科,经过长期的发展,在19世纪成为一个奠定在分子运动论基础之上的比较严谨的科学。其中集大成的是玻尔兹曼及另外一些人提出的熵的统计解释。

 

简单地讲,熵是描述一个多体系统的混乱程度。举例来说,一个打碎了的杯子比完全相同的没打碎的杯子所具有的熵更大,因为打碎了的杯子的结构更混乱一些。在热力学里,熵的数学表示是:

                 S=-k∑pilogpi  (1)

k是玻尔兹曼常数,pi是各个微观态发生的概率,它们的归一化为pi=1。一个系统越混乱,它包含的微观态就越多,熵就越大。

 

熵,这样一个极其基本的描写多体系统混乱程度的量,没有直接进入到投资领域。(如果牛顿知道熵的概念,大概就不一样。玻尔兹曼远不如牛顿入世,大概没有尝试过把他的理论运用到投资中)。实际上,熵是通过现代通信技术才进入投资领域的。

 

三、现代通信技术和香农熵

 

第二次世界大战中,由于战争的需要,美国军方大力发展现代通信技术。战后,他们仍然大力支持通信技术的研究。先后在贝尔实验室,麻省理工学院工作、学习的香农(1916~2001)在20世纪40年代末,做出了开创性的工作,奠定了现代通信技术的理论基础。

 

一个通信系统可以简单地理解为,有一个发送端、一个接收端和一个连接发送端和接收端的通路—信道。通常遇到的实际通信问题是,系统发送端不断地发送很多信号,接收端接收到很多信号,由于信道常常有噪音,信号在信道中传输常常有损失和扭曲,导致接收端接收到的信号和发送端发的信号很不一样。通信技术研究的内容包括如何从接收到的信号中恢复发送端发出的信号,以及给定一个信道,如何能通过这个信道在一定时间内传输尽可能多的信息。

 

 

图1  通信系统概念图

 

例如,大家上网常用到的宽带DSL服务,它有两端:一端是位于用户端的DSL Modem,俗称“DSL猫”;另一端是DSLAM,归各种电信运营商管理。连接“DSL猫”和DSLAM的电话线就是信道。宽带上网的网速就是指DSL系统的传输速度。

 

又例如,大家都使用的手机,手机是一端,基站是另一端。连接手机和基站的空间就是信道(追根求源的话,这个信道的特性就是电磁波在空气以及介质,包括墙壁中的传输特性,应该求解麦克斯韦方程在复杂介质和边界条件的解,同时要考虑别的干扰。如一个手机信号对邻近的手机,一个基站信号对临近的基站就是干扰。但在实际应用中,信道的特性常常是测量出来的,而不是通过求解麦克斯韦方程)。

 

通常,如果有可能,人们都是想要更高的传输速率,无论对于有线还是无线传输都是如此。香农对通信技术的主要贡献是给出了一个通信系统的传输速率的上限

C=Blog2(1+S/N) (2)

这里,B代表频段的宽度,S代表信号强度,N代表噪音强度,S/N代表信号噪音比(一般而言,信号噪音比依赖于频率,上述公式应该换成积分形式)。

 

由公式(2)可见,一个通信系统的传输速率的上限是由通信频宽和信噪比决定的。这个公式对于通信技术是很基本的。通信技术经常研究的一个问题,就是如何提高系统的性能,使它的传输效率尽可能地逼近理论上限(2)。

 

举例来说,在DSL技术之前,电话线上的数据传输技术通常是音频段的modem技术。这种技术只用一个很窄的频段,通常只有4千赫兹。最高传输速率只能达到56千比特/秒。早期的DSL技术, ADSL1用了1.1兆赫兹的频段,把实际最高传输速率提高到几兆比特/秒。ADSL2+用了2.2兆赫兹的频段,把实际最高传输速率提高到24兆比特/秒。ADSL的后续技术,VDSL2+用了17兆赫兹的频宽,可以提供30~100兆比特/秒(用户能够达到的实际传输速率还取决于很多因素,比如DSL modem 和 DSLAM的距离)。

 

从上面来看,好像通过拓展频宽来提高传输速率是很容易的,而实际实现上远没有这么简单。早期DSL技术,单是斯坦福大学的John Cioffi教授和他的学生就投入了近十年时间的研究。从早期DSL发展到今天的VDSL2+,用了差不多二十年的时间。

 

提高通信速率的另一个方面是提高信噪比。通常信号强度是有限制的,不能无限制地提高。这是由于,一方面,高的信号强度会给“周围邻居”造成更大的信号干扰,这在无线通信和许多有线通信应用中都是需要控制的;另一方面,高的信号强度意味着更高的能源消耗,在当前世界节能减排的大趋势下,这也是需要避免的。对于手机等移动通信设备,高的信号强度意味着更短的电池工作时间。因此,在给定信号强度时,人们通过各种技术降低噪音,来提高通信速率。还是以DSL技术为例,VDSL2+之后,为了提高速率,一种基于协同处理的降低噪音的技术正在被研究,并被融合到相关的国际标准。用了这种最新降低噪音技术的DSL技术称为“矢量DSL”。由ASSIA等公司推动的这项技术,会进一步提高通过电话线的数据传输速率,使之可以达到数百兆比特/秒。这与常用的光纤接入技术性能上相似,但成本却只有光纤接入解决方案的几分之一或更低。

 

这种数据传输速率对频段和信噪比的依赖,一样适用于无线通信。不同的无线通信技术,常常使用不同的频段,以及有特定的信噪比。对于无线通信,频段是稀缺资源,不同的运营商,不同的技术常常为一个频段的使用权发生争吵。

 

以上例举的这些应用,说明了香农定理对于通信技术的贡献是多么的重要。而这样一个对通信技术极为根本的定理,香农则是通过研究香农熵得到的。举一个例子来说明香农熵。一个记者到现场看国足和韩国队的比赛。为了能尽快在比赛结束时把消息发出去,这位记者比赛之前提前写好了两条短消息:“国足赢了”,“国足输了”,并准备在比赛结束时从中选择一个发出去。香农研究了这样一个问题,这个记者将要发出去的消息包含的信息量是多少?比赛之前,由于不知道哪一个结果会发生,我们不知道哪一条消息会被发出去,只能假设两个结果都有一定的概率发生,并来研究将要发出去的消息包含的平均信息量是多少。

 

我们把这两个结果发生概率记为:p0p1p0p1=1。对这个例子,香农发现可以用如下定义的H来描写每条消息包含的平均信息量,

H=-(p0log2p0p1log2p1)。(3)

这个H就是香农熵(在我国大部分热学教科书上香农熵写为信息熵)。

 

对于一般的一个通信系统,需要发送的消息有多个,假设每个消息可能出现的概率是pi,那么它的香农熵是:

H=-∑pilog2pi   (4)

如果对比公式(1)和(4),就会发现香农熵和玻尔兹曼熵的确很相似。这种相似不仅显示在数学表达式上,它们的统计意义也是非常相似的。一个系统越混乱,它的玻尔兹曼熵就越大;一个系统越混乱,它包含的信息量越大,它的香农熵就越大(从这个意义上理解,热力学第二定理——熵增原理,可以理解为信息量增加原理)。

 

为什么一个系统越混乱,它包含的信息量越大?这可能有些与直觉相抵触。我们举一个例子来解释它。有一张方格纸,它可以有两种状态。一种是全部格子都涂成同一种颜色,比如蓝色。另外一种状态是每个格子的颜色都是完全任意随机的。那么从感官上,第二种状态比第一种状态“更混乱”。哪种状态包含的信息量更多呢?第一种状态包含的信息量是很少的,因为为了完整地描述它的状态,我们只需要说全部格子都是蓝色。第二种状态,为了完整地描述它的状态,我们需要给出每个格子的颜色。这个例子又是现代数字压缩技术的理论基础,被广泛地应用到存储、图形和图像的压缩传输。一个系统可以被压缩的最大程度取决于它所包含的信息量。

 

香农不仅仅导出了一个通信系统的传输速率上限公式(2),还定义了我们通常说的信息量的单位“比特(bit)”。由于现代通信技术和计算机的广泛应用,比特已经进入人们的日常生活用语。也许你已无意识地时常在用这个词了。比如,你会说:“我用的宽带上网ADSL的速度是24兆的,我的3G无线上网的速度是1.5兆的,或我买了一个的20G的移动硬盘”。这里,24兆就是指24106比特/秒,1.5兆就是指1.5106比特/秒,20G就是说移动硬盘的存储容量是20109字节(byte),一个字节有8个比特。这个移动硬盘存储容量是201098=160109比特。或许你已经注意到了,上面的例子中比特既被作为通信传输的单位,又被作为计算机存储的单位。实际上,正是它搭建了沟通现代通信技术和计算机技术的桥梁。

 

那么,一个比特是如何定义的?在我们举的例子中,如果国足赢和输的概率都一样,p0p1=1/2,代入公式(3)就会算出:H=1比特。也就是说,这种情况下,这个记者将要发出去的消息包含的信息量就是一个比特。回到物理学的例子:对于一个真空中的自由电子,它只有两个微观态,自旋向上或向下,这两个微观态发生的概率都是一样的,p0p1=1/2。那么这个系统的香农熵是H=1比特,玻尔兹曼熵是Skln2=0.95699391023焦耳/开尔文。由于香农熵和玻尔兹曼熵都是关于系统混乱的描写,他们是一样的,所以

1比特=0.956993910-23焦耳/开尔文,  (5)

 

(5)式是很有意思的。因为,出现在左边是信息量的单位,出现在右边是能量焦耳和温度开尔文的单位。这说明了信息和能量温度是可以转换的。如何理解这种转换呢?有待进一步地研究。在物理学中,玻尔兹曼常数、光速和普朗克常数是三个最基本的常数,而后两个常数都给物理学带来了革命性的突破。香农除了对通信技术做出了巨大贡献以外,他对于股票投资也很有兴趣。

四、香农和股票投资

 

香农做股票投资,当然会和普通人不一样。他尝试用科学的方法来研究股票投资。香农没有发表过任何他关于股票投资研究的文章,他在麻省理工学院做过两个关于股票投资演讲。我们知道,香农和他的一些学生很早(20世纪70年代)就开发过一些试图用于股票投资的算法和计算机程序。

 

特别是他仔细研究了一个投资策略--持续重新平衡组合。这种策略的一个简单形式是对一个投资组合。举例来说,一个包括几十支股票的股票基金,如果投资人不断地“抛高吸低”,就是说,把基金中表现好的股票卖掉一些或全部,买进一些基金中表现差的股票,那么,长期而言,这种投资策略一般会有很好地回报(对于香农他们当时研究的投资市场)。这种“抛高吸低”的频率可高可低,如果选择用比较高的交易频率,这就演化成高频交易的一种策略。。

 

香农本人的投资实际上并没有用到上述方法,因为他发现,持续重新平衡组合需要频繁交易,要花很多交易手续费,而且在20世纪70年代,计算机和网络技术都不成熟,对于具体应用这一策略也有难度。进入八九十年代后,这个方法被许多定量高频对冲基金采用了,并融合到他们的投资策略中(对冲基金是投资基金的一种。与一般的基金相比,它们受到的监管比较少,可以采用比较灵活的投资手段、方法和技术。)

 

即便如此,香农本人的股票投资是非常成功的。因为他在工业界有广泛的联系,他选择了投资一些朋友的公司(用今天的话讲就是投资“团队”)。香农本人的投资主要包括惠普(HP)、Teradyne这样一些成功的高科技企业。同期,他的投资回报率超过了沃伦·巴菲特。

 

香农本人虽然没有用通信理论的方法做投资(持续重新平衡组合和香农熵实际上是有联系的),但他影响了很多人把通信理论应用到投资领域,有代表性的人为凯利、爱德华·绍帕、欧文·伯莱坎普和汤姆·库沃。

 

五、凯利和投资中的资金分配

 

凯利是香农的朋友和同事,20世纪50年代初在贝尔实验室研究通信技术。他发现,通信系统可以等价地用一个连续赌博系统来研究。并由此提出了一个很有意思的判据,被称为凯利判据。

 

举个最简单的例子来解释这个凯利判据。如果有一种赌博(或投资)机会,你可以不断重复下注。假若你赢的概率是p=0.6,输的概率是1-p=0.4。如果赢了,你用来投资的钱就翻倍;输了,钱就全部损失了。那么,你每次应该用你手中资金的多少去投资以便达到最好的回报?显然,一次就把全部钱都投进去不是一个好的策略。如果赌错了,根本就没有再捞回来的机会。

             正确的答案是:2p-1=0.2。  (6)

 

你每次应该用你手头资金的20%去赌。你可以期待,平均每赌36次,你手里的钱就会翻一番。(一般而言,如果赢的概率是p,并且p>0.5,这个问题的答案是2p-1;如果p<0.5,就不应该参与。)

 

显而易见,这是一个与投资有关的问题,但凯利是在研究通信理论中的公式(2)时发现的。大家可以看的出来,这个判据对于基金管理中资金分配是有意义的。因为,如果基于某种模型和历史数据,基金经理对于一种投资策略“赢”的概率有一定的估算,那么这时凯利判据就告诉基金经理一次应该投资多少资金。

 

凯利本人是否把他的方法用于个人投资就不得而知了,但受香农影响的另外几个人却对投资领域有重要的影响。

 

本文选自《现代物理知识》2010年第2期   时光摘编



关于我们
下载视频观看
联系方式
通信地址

北京市海淀区清华东路甲35号(林大北路中段) 北京912信箱 (100083)

电话

010-82304210/010-82305052(传真)

E-mail

semi@semi.ac.cn

交通地图
版权所有 中国科学院半导体研究所

备案号:京ICP备05085259-1号 京公网安备110402500052 中国科学院半导体所声明