Claude E. Shannon和信息理论

Claude E. Shannon出版关于通讯的数学理论在里面贝尔系统技术杂志1948年7月和10月是信息理论的开始,可以被视为“信息时代的大宪章”(Verdú1998:2057)。香农swork brought into being a research field that is both an important sub-discipline of mathematics and an applied science relevant to a multiplicity of fields, including but not restricted to computer science, cryptology, philosophy, psychology, (functional) linguistics, statistics, engineering, physics, biology (especially genetics), and economics.1但是,没有重要先驱的工作,香农就无法写出他的开创性论文:贝尔实验室工程师哈里·奈奎斯特(Harry Nyquist)(1924,1928)和Ralph Hartley(1928);数学家约翰·冯·诺伊曼(John von Neumann)(1932)和诺伯特·维纳(Norbert Wiener)(1942,1948);2和物理学家Ludwig Boltzmann(1896-98),J. Willard Gibbs(1876年,1878年)和莱昂·西尔德(LeóSzilárd)(1929)。在当代信息理论中,这项早期工作的大部分仍然起着重要作用。最新的研究要么详细介绍了香农的原始见解(Verdú1998),要么遵循算法信息理论的不同路径。Gregory J. Chaitin,Andrey Nikolaevich Kolmogorov, 和Ray Solomonoff在1960年代(Chaitin 1987)。

为了在文学,文化和媒体理论中使用信息理论,案例是不同的。在这里,大多数研究基于香农的工作。更确切地说,人文和社会科学中的大多数信息理论反思都依赖交流的数学理论(1963年),它重印了香农的原始论文,并由说明性介绍沃伦·韦弗(Warren Weaver)

作为工作的工程师贝尔电话实验室,香农对使信息传输更有效的理论化对理论至关重要。借助概率理论,统计和热力学,香农研究了两个因素的影响 - 通道的带宽及其信噪比对通道传输容量。因此,他能够为意图最大化沟通渠道能力的工程师提供关键的援助。确实,香农定理的主要实际使用是设计更有效的电信系统。

对于香农而言,毫无疑问,什么构成最大成功的交流行为:收到的消息必须与发送的消息相同。在this model, the final touchstone of communicative success is the replication of the sender’s intention, and noise is defined as all those “things [that] are added to the signal which were not intended by the information source” (Shannon and Weaver 1963: 7). Yet Shannon made an interesting discovery concerning noise that proved to be relevant to many in the literature and science community. While noise is completely unintelligible for the receiver, it is also the part of the signal with the highest information content. This might seem counterintuitive at first, since one would expect that a more ordered, less chaotic signal transmits more information. But Shannon’s observation will become clear once we have had a look at his recourse to thermodynamics.

To his surprise, Shannon found that his definition of information, rendered as a mathematical equation, corresponded to鲍尔茨曼(Boltzmann)对熵的定义,在封闭系统中进行工作的措施或能量无法使用的措施。如果我们关注香农在考虑消息不是孤立的情况下,而是在选择实际消息的一系列范围的情况下,这是有道理的:请说,您可以说什么。也就是说,当人们选择信息时,信息是对选择自由的衡量”(Shannon and Weaver 1963:8-9)。一组可能的消息集越大,发件人选择特定消息的选择自由度就越大,接收器部分的不确定性越大,发件人实际选择的特定消息的数量就越大信息收到了。在香农的模型中,收到的信息量对应于接收者终止的不确定性程度:“因此,更大的选择自由,更大的不确定性,更大的信息齐头并进”(Shannon and Weaver 1963:19)。因此,完全可以预测的消息是冗余,因此没有信息。相反,一条有关接收器在到达之前高度不确定其内容的消息传达了很多信息,并且最大熵(或“信息”)消息是从同样可能的最大消息集中选择的消息:

毕竟,当我们记得通信理论中的信息与我们在构建信息中所拥有的选择自由相关时,毕竟,通过熵衡量该信息是自然的。因此,对于传播来源,人们可以说,正如他还说一个热力学合奏的那样,“这种情况是高度组织的,它的特征不是很大程度的随机性或选择,也就是说,这些信息(也就是信息(或熵)很低。”(Shannon and Weaver 1963:13)

现在,由于将噪声引入沟通渠道会增加不确定性并使消息降低了可预测性,因此也会增加信息。因此,在香农的框架中定义了噪声为显示最大熵和最大信息量的信号。因此,它与冗余相反 - 一个完全可预测的信号,传达了任何信息。

但是,从工程的角度来看,人们需要区分有用的和无用的信息,而香农和韦弗很快指出,噪声中包含的(大)信息是没有用的:

由于发件人的选择自由而产生的不确定性是理想的不确定性。由于错误或噪声的影响而产生的不确定性是不良的不确定性。因此,很明显,小丑说收到的信号有更多信息。其中一些信息是虚假的和不希望的,并且已经通过噪声引入。为了在接收的信号中获取有用的信息,我们必须减去这一虚假部分。(Shannon and Weaver 1963:19)

看来噪声已从交流的数学理论中成功地驱除。这并不令人惊讶,因为作为电话公司的员工,香农对最小化噪音感兴趣,以确保最大程度地传输(有用)信息。已被称为“信息理论的基本定理”也证明了这一点:“可以以较小的误差概率以少于通道容量的任何速度通过嘈杂的通道传输信息”(Ash 1965:63)。

然而,在他的说明性介绍结束时,香农的合着者韦弗(Weaver)暗示人们可能会以不同的方式考虑噪音。在他的整个介绍中,韦弗强调说“在formation不得与意义相混淆”和“交流的语义方面与工程方面无关”(Shannon and Weaver 1963:8)。语义因素的排除在传播模型中已经可以看到他的文章的第一页(图13.1).5。

捕获

(图13.1)香农的沟通模型。

该图中没有针对接收器的解释活动的框,很明显,该模型中通信的目的是传输消息,以便接收到的消息与发送的消息相同。但是,当Weaver在介绍的最后一部分中确实转向语义问题时,他建议对香农模型进行许多更改:

可以想象,作为图表的补充,另一个标记为工程接收器(将信号更改为消息)和目的地之间的“语义接收器”的框。该语义接收器将消息的介入第二个解码,对此的需求是,它必须将消息的统计语义特性与接收器的总体统计语义能力匹配,或者是接收器的统计语义能力,或者构成受众的子集的统计语义特征希望影响。(Shannon and Weaver 1963:26)

Weaver对接收者的角色的考虑表明,将发件人意图视为唯一意义的通信模型转变。此外,他的断言必须在“第二个解码”中调整消息的语义属性,以对接收者的处理能力已经有资格调整Shannon的原始前提,即交流的目的是传播自相同信息。韦弗(Weaver)认为,当他认为在图中添加一个标有“语义噪声”的额外盒子的可能性时,该沟通模型的移动远远远离了基于意图的通信模型:

Similarly one can imagine another box in the diagram which, inserted between the information source and the transmitter, would be labeled “semantic noise,” the box previously labeled as simply “noise” now being labeled “engineering noise.” From this source is imposed into the signal the perturbations or distortions of meaning which are not intended by the source but which inescapably affect the destination. And the problem of semantic decoding must take this semantic noise into account. It is also possible to think of an adjustment of original message so that the sum of message meaning plus semantic noise is equal to the desired total message meaning at the destination. (Shannon and Weaver 1963: 26) Weaver’s suggestion that distortions of meaning that were not intended by the sender might not impair but contribute to the meaning received at the other end of the communication process represents a break with communication models that are based on the sender’s intention as the sole reference point for communicative success. Weaver’s changes to Shannon’s model also re-inject the noise that had been exorcized through Shannon’s distinction between useful and useless information (Figure 13.2).

显然,韦弗对噪音和含义的思考提出了一种沟通模型,尽管噪声而不是因为噪声而起作用。尽管如此,他的建议还是关于噪声不仅是任何形式的交流的不可避免的组成部分,而且实际上可能是所需信息的重要组成部分,这是指向噪声分配的潜在有益元素的状态。与香农(Shannon)的断言,噪声是具有最高信息内容(或最高程度的“信息性”)的信号,它构成了文学,文化和媒体理论中噪音的一系列重新估计的基础。

当然,香农和韦弗的沟通模式存在问题。首先,香农和韦弗的通信模型是一个单向传输模型,只能说明两个实体之间的通信。对沟通的通讯所告知的更广泛的理解,例如话语的概念,甚至斯图尔特·霍尔(Stuart Hall)的编码/解码模型(1980)远远超出了其范围。Second, Weaver’s clear-cut differentiation between “semantic noise” and “engineering noise” cannot be upheld because it presupposes a strict separation of the level of the signifier (affected by the engineering noise) and the signified (affected by the semantic noise).6 The poststructuralist assertion of the primacy of the signifier and the endless deferral of the signified has rendered such a distinction problematic. Finally, because Shannon and Weaver’s concept of noise is based on the assumption that noise corresponds to all those things that have been added to the signal unintentionally (Shannon and Weaver 1963: 7), their model does not allow for noise that has been added on purpose. In the analysis of literature, especially certain types of modernist literature, it is desirable to broaden Shannon and Weaver’s understanding of noise to include textual distortions and fragmentations which we, as readers, tend to see as intended by a writer who uses them consciously and for artistic effect.7

捕获1

图13.2 Shannon的沟通模型,并带有韦弗的拟议更改

尽管有这些局限性,香农和韦弗的数学交流理论对控制论和系统理论产生了深远的影响。然而,在后来的发展中,这些学科放弃了一个较旧的传播模型的传播模型,该模型描述了在高度复杂的系统,例如计算机,人体和社会等高度复杂的系统中,在几个层次上的层次上发生的信息交换或认知构建过程。除了这些进一步的发展外,香农和韦弗的定理本身对人文和社会科学产生了强烈的影响。在接下来的内容中,我们将勾勒出他们最突出的用途,并特别强调了对噪音的理论和文学思考。

海尔斯(Hayles,1987)将香农和韦弗的沟通模式与罗兰进行了比较巴特斯S/Z。从假设科学和文学是一种共同文化的同构表现(Hayles 1987:119-20)开始,Hayles在香农和巴特斯的工作中对比了不同的“解释经济”。两位理论家都指出,噪声包含信息盈余。But while Shannon’s work is embedded in a capitalistscientific economy that demands the reduction of the many to the few and tries to mute noise by designing it as useless,8 Barthes’s work is embedded in a literary economy that demands the expansion of the few to the many, values playfulness over usefulness, and celebrates noise. Thus, “similar concepts emerge with radically different values when they are embedded within different economies” (Hayles 1987: 131). Hayles’s observation applies to many of the uses information theory has been put to in literary, cultural, and media theory. This is especially the case for reflections on the innovative and subversive potential of noise.

032C_FINAL_WEB_MICHEL_SERRES_PETITE_POUCETTE_POUCETTE-1-1024X682

Michel Serres

For instance,Michel Serres, 在寄生虫,创世纪,以及各种论文,将Le Parasite(技术法语中的信息“噪音”)拨给了第三名的数字,即对所有二元主义思维试图排除的所有这些对象和人:

科学不一定是一个或秩序的问题,多重和噪音不一定是非理性的省。可能是这种情况,但并非总是如此。这些师的整个集合描述了噪音的空间,这些二分法的冲突以噪音,简单而幼稚的,重复的,对统治渴望的策略的策略覆盖了它。从成对方面的考虑是为了制作一些危险武器,箭,飞镖,燕尾饼,以保持空间并杀死。通过否定思考不是要思考。二元论试图开始一种骚动[Chercher噪音],发出噪音,它与死亡有关。它死亡并保持死亡。有人说,寄生虫死亡,没有看到寄生虫只有更强的寄生虫才能死亡。(Serres 1997:131)

与这些观察结果一致雅克·阿塔利(Jacques Attali), 在噪音:音乐的政治经济学,倡导他所谓的“作曲”的即兴发声实践:“征服了发出噪音的权利,换句话说,创建自己的代码和工作,而没有提前广告其目标”(Attali 1985:132)。对于Attali,这种做法是预言的;他们预示着“强大的颠覆性的出现,导致一个从未理论化的根本新组织”(Attali 1985:6)。

文化的噪音:信息世界中的文学文本,威廉·鲍尔森(William R. Paulson)借助Serres的工作,信息理论和理论生物学,以及俄罗斯和比利时的形式主义,以反思文学在一个越来越多地围绕生产,循环和可读机器可读,清晰的信息交换的世界中。承认信息时代文学的边缘性,Paulson争辩说,当今文学的社会功能最好被描述为“文化的噪音”:

如果确实如此,文学不是也不会再成为文化的中心。宣布或揭穿其中心位置没有用。文学是文化的噪音,富裕和不确定的边缘,传达信息,永远不会返回,其中收到的信号不像发出的任何东西一样。(Paulson 1988:180)

Friedrich_Kittler_2009

弗里德里希·凯特勒(Friedrich A. Kittler)

信息理论在人文科学和社会科学中的其他用途可以追溯到弗里德里希·凯特勒(Friedrich A. Kittler)媒体考古学从“媒体确定我们的处境”(Kittler 1999:XXXIX)的假设开始,并在Kittler的两本主要书籍中找到了最具影响力的表达话语网络1800/1900Gramophone, Film, Typewriter。Kittler的“信息理论唯物主义”是由许多德国媒体理论家(所谓的“柏林学校”媒体理论学校)共享的,其中包括伯恩哈德·多兹勒(Bernhard Dotzler),沃尔夫冈恩斯特和伯恩哈德·西格特(Bernhard Siegert)继电器:文学作为邮政系统的时代(1999年)是该传统中最迷人的书之一。好吧凯特勒,Max Bense在augurated another German tradition of technology- centered media theory, the “Stuttgart School.” Bense’s informational aesthetics considers acts of selection as the most fundamental link between art and mathematics and is particularly interested in the interplay of order and complexity in works of art.

到目前为止,我们已经勾勒出的基本假设香农的沟通理论及其在文学,文化和媒体理论中的某些用途。关于信息理论与文学的交集,有第二种途径可以探索,即使只是很简单:信息理论对文学想象力的影响。许多作家都借鉴了信息理论:约瑟夫·海勒发生了一些事(1974),威廉·吉布森(William Gibson)神经法(1984),唐·德里洛(Don Delillo)白噪声(1985),David Foster Wallace系统的扫帚(1987),理查德·鲍尔斯(Richard Powers)金虫变化(1991), Neal Stephenson in Snow Crash (1992) and Cryptonomicon (1999), and格雷格·贝尔(Greg Bear)死线:生活的小说……死后(2004年),仅举几例。然而Thomas Pynchons哭泣49的哭泣(1966年)仍然是这样的文本中最突出的例子,本章的其余部分讨论了这一小说作为范式的案例。

就像早期的作家一样H.G.威尔斯时间机器(1895)和亨利·亚当斯亨利·亚当斯的教育(1907/1918),Pynchon借鉴了熵的热力学概念,以绘制地球的阴沉图画,以朝着热死亡移动,即逐渐散布到19世纪物理学预测的能量赫尔曼·冯·赫尔姆霍尔兹(Hermann von Helmholtz),他们认为世界是封闭的热力学系统,但受到第二种热力学定律认为的熵不可逆转的增加(Freese 1997:99-105)。但是在Pynchon的虚构世界中,热力学熵被第二种熵来抵消:信息熵。冯·赫尔姆霍尔茨(Von Helmholtz)和亨利·亚当斯(Henry Adams)的热力学世界仅将熵视为能量耗散,但香农(Shannon)和普恩尚(Pynchon)的信息世界学会了区分两种具有相反含义的熵。

Pynchon的小说是约翰·尼夫斯蒂斯(John Nefastis)建造的机器中播放的信息熵与热力学熵之间的相遇。Nefastis声称他的设备逆转了熵增加的过程,因此驳斥了热力学的第二定律。因此,Nefastis机器将使James Clerk Maxwell的思想实验成立:封闭系统中较慢,更快的分子的恶魔可以停止熵降解并产生永久的运动机。Nefastis的设备需要一个可以与麦克斯韦的恶魔交流的心理学家:“”

沟通是关键,”内斯蒂斯喊道。“恶魔将他的数据传递给敏感,敏感性必须以实物回复。该盒子里有数十亿美元的分子。恶魔会收集每一个的数据。在某种深刻的心理水平上,他必须通过。敏感的必须收到一组惊人的能量,并反馈类似相同数量的信息。为了保持所有骑自行车。”(Pynchon 1966:72-73)

在Nefastis的计划中,敏感和恶魔之间的信息交换使其可以与热力学熵的增加进行战斗。尽管Pynchon在整个Pynchon的小说中,在热力学和信息熵之间进行了更大范围的竞争,将Nefastis的设备的生存能力提高了。叙事开始时描绘的南加州的文化惯性,其“不变的灰色疾病”(Pynchon 1966:14),对应于在热力学平衡或最大熵附近的状态,该系统几乎完全停滞不前。But in the course of the novel the movement toward entropic degradation is countered by repeated injections of informational entropy or noise into the system: the Paranoids’ “shuddering deluge of thick guitar sounds” (25), the cryptic messages relayed by the underground mail delivery system W.A.S.T.E., and the communication networks of the 1960s counterculture more generally. The outcome of the battle between thermodynamic and informational entropy ends indecisively in Pynchon’s novel, but in its staging of that battle,哭泣49的哭泣是文学和科学融合可以释放的能量的有力纪念碑。What enables Pynchon’s novel to do that, though, is not only its negotiation of information and noise at the plot level, but also its recalcitrant literary form – its fragmented plot structure, multiple indeterminacies, complex system of intertextual references, and refusal of narrative closure – which challenges conventionalized language uses and thus injects noise into the system of cultural communication.

Reference: Clarke, Bruce, and Manuela Rossini.文学和科学的鲁特里奇伴侣。伦敦:Routledge,2012年。印刷。

笔记
1 See, however, Hayles’s account of an alternative, British tradition within information theory (Hayles 1999: 18–19, 54–57, 63) initiated by Donald M. MacKay, whose model of structural information – contrary to Shannon’s probabilistic model – takes meaning into account (MacKay 1969). Apart from Shannon, MacKay, and Norbert Wiener, a fourth contender for the title of “father of information theory” would be Dennis Gábor (1946), now best remembered as the inventor of holography.
2因此,影响线并不仅仅从香农到维也纳(因此从信息理论到控制论),而是朝相反的方向延伸。
4因此,卢西亚诺·佛罗里达(Luciano Floridi)的建议是,香农信息理论可能更准确地标记为“数据传播的数学理论”(Floridi 2004:52)。
5在人类口头交流中,信息源对应于说话者的大脑;向物理语音设备的发射器(声带,口腔,舌头等),将信息转换为通过通信渠道发送的编码信号(空气);接收器到听众的耳朵;听众大脑的目的地。
6工程噪声不仅对应于指示符,而且对应于刻有它的写作工具(例如,有缺陷的键盘)。
7这并不意味着文学文本的含义可以等同于作者的意图。还要注意,至少可以在多大程度上争论的香农的意图概念与文学批评家的概念相对应。多么远,我们可能已经与早期批评家的故意谬论相去甚远,故意的问题困扰着文学研究中对信息理论的任何使用。
8另见Heims(1993),他在军事工业环境中将信息理论和控制论的开始。

B52292CA494A252020FD01D79E0EDC68

Claude E. Shannon

Bibliography
Adams,H。(1907/1918)亨利·亚当斯的教育,伦敦:企鹅,1995年。
Ash R.(1965)信息理论,纽约:约翰·威利和儿子。
Attali, J. (1985) Noise: the political economy of music, Minneapolis: University of Minnesota Press.
Bear,G。(2004)死线:生命的小说……死后,纽约:Ballantine。
Bense,M。(1982)Aesthetica:einführung在Die Neue Aesthetik,Baden-Baden:Agis。Boltzmann,L。(1896–98)VorlesungenüberGastheorie,莱比锡:Johann Ambrosius Barth。Chaitin,G.J。(1987)算法信息理论,剑桥:剑桥大学出版社。
DeLillo, D. (1985) White Noise, New York: Viking.
Floridi,L。(2004年),“信息”,《佛罗里达州》(编辑)《计算与信息哲学指南》,马尔登:布莱克韦尔,第40-61页。
Freese,P。(1997)从启示录到熵及以后:战后美国小说中热力学的第二定律,埃森:Die Blaue Eule。
Gábor, D. (1946) “Theory of communication,” The Journal of the Institution of Electrical Engineers, 93(26): 429–57.
W.J. Gibbs(1876,1878),“关于异质物质的平衡”,康涅狄格州科学院的交易,3:108-248,343–524。
Gibson, W. (1984) Neuromancer, New York: Ace Books, 1994.
Hall,S。(1980),“编码/解码”,在S. Hall,D。Hobson,A。Lowe和P. Willis(Eds)文化,媒体,语言:文化研究中的工作论文,1972- 1979年,伦敦:哈钦森,第128-38页。
Hartley,R.V.L。(1928)“信息传输”,贝尔系统技术杂志,7:535–63。
海尔斯(N.K.)(1987)“信息或噪音?Barthes的S/Z和Shannon的信息理论中的解释经济”,G。Levine(编辑)《一种文化:科学与文学论文》,麦迪逊:威斯康星大学出版社,第119-42页。
- (1999年)我们如何成为后人类:控制论,文学和信息学领域的虚拟机构,芝加哥:芝加哥大学出版社。
Heims, S.J. (1993) Constructing a Social Science for Postwar America: the cybernetics group (1946–1953), Cambridge, Mass.: MIT Press.
Heller, J. (1975) Something Happened, New York: Ballantine. Kittler, F.A. (1990) Discourse Networks 1800/1900, Stanford: Stanford University Press.
- (1999)唱机,电影,打字机,trans。G. Winthrop-Young和M. Wutz,斯坦福大学:斯坦福大学出版社。
Mackay,D.M。(1969)信息,机制和意义,马萨诸塞州剑桥:麻省理工学院出版社。
Neumann,J。v。(1932)Mathematische Grundlagen der Quantenmechanik,柏林:Springer。
Nyquist, H. (1924) “Certain factors affecting telegraph speed,” Bell System Technical Journal, 3: 324–46.
- (1928年)“电报传输理论的某些主题”,美国电气工程师研究所的交易,47:617–44。
鲍尔森(W.R.
Powers,R。(1992)《金虫变体》,纽约:哈珀多年生。
Pynchon,T。(1966年),《哭泣49》,伦敦:皮卡多尔,1979年。S
chweighauser, P. (2006) The Noises of American Literature, 1890–1985: toward a history of literary acoustics, Gainesville: University Press of Florida.
Serres,M。(1982)巴尔的摩的寄生虫:约翰·霍普金斯大学出版社。- (1997)创世纪,安阿伯:密歇根大学出版社。
Shannon,C.E。(1956)“潮流”,《信息理论》无线电工程师协会交易,2:3。
- 和Weaver,W。(1963)交流的数学理论,芝加哥:伊利诺伊大学出版社。
Siegert,B。(1999)接力:文学作为邮政系统的时代,斯坦福:斯坦福大学出版社。
Sokal,A.D。(2008)《超越骗局:科学,哲学与文化》,牛津:牛津大学出版社。
- 和Bricmont,J。(1998)时尚的胡说八道:后现代知识分子滥用科学,纽约:皮卡多尔。斯蒂芬森(N.
- (1999年),纽约,加密货币:雅芳。
Szilárd,L。(1929)“ Einem Thermodynamischen System bei Eingriffen Intellifter Wesen中的Entropieverminderung,”ZeitschriftFürPhysik,53(11-12):840-56。
Verdú,S。(1998)“香农理论五十年”,《信息理论》的IEEE交易,44(6):2057-78。
华莱士D.F.(1987)系统的扫帚,纽约:维京人。威尔斯,H.G。(1895)Time Machine,纽约:W.W。诺顿,
2008。Wiener,N。(1942)固定时间序列的外推,插值和平滑,剑桥:NDRC报告370。
- (1948年)动物和机器中的控制论或控制与通信,马萨诸塞州剑桥:麻省理工学院出版社。



类别:人工智能,网络批评,cybernetics,数字理论,俄罗斯乌克兰比分直播,Technocriticism

标签:,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

发表评论

%d这样的博客作者: