HASH GAME - Online Skill Game GET 300

　　HASH-文件完整性校验 2009-08-17 22：04 基本知识 Hash，一般翻译做散 列，也有直接音译为哈希的，就是把任意长度的输入(又叫做预映射，preimage)，通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转 换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输 入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的 说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。HASH 主 要用于信息安全领域中加密算法，他把一些不同长度的信息转化成杂乱的 128 位的编码里,叫做 HASH 值.也可以说，hash 就是找到一种数据内容和数据存放 地址之间的映射关系了解了 hash 基本定义，就不能不提到一些著名的 hash 算 法，MD5 和 SHA1 可以说是目前应用最广泛的 Hash 算法，而它们都是以 MD4 为 基础设计的。那么他们都是什么意思呢?这里简单说一下：(1)MD4 MD4(RFC 1320)是 MIT 的 Ronald L.Rivest 在 1990 年设计的，MD 是 Message Digest 的 缩写。它适用在 32 位字长的处理器上用高速软件实现--它是基于 32 位操作数 的位操作来实现的。(2)MD5 MD5(RFC 1321)是 Rivest 于 1991 年对 MD4 的改进 版本。它对输入仍以 512 位分组，其输出是 4 个 32 位字的级联，与 MD4 相同。 MD5 比 MD4 来得复杂，并且速度较之要慢一点，但更安全，在抗分析和抗差分 方面表现更好(3)SHA1 及其他 SHA1 是由 NIST NSA 设计为同 DSA 一起使用的， 它对长度小于 264 的输入，产生长度为 160bit 的散列值，因此抗穷举(bruteforce)性更好。SHA-1 设计时基于和 MD4 相同原理,并且模仿了该算法。那么这 些 Hash 算法到底有什么用呢?Hash 算法在信息安全方面的应用主要体现在以下 的 3 个方面：(1)文件校验我们比较熟悉的校验算法有奇偶校验和 CRC 校验，这 2 种校验并没有抗数据篡改的能力，它们一定程度上能检测并纠正数据传输中 的信道误码，但却不能防止对数据的恶意破坏。MD5 Hash 算法的数字指纹特 性，使它成为目前应用最广泛的一种文件完整性校验和(Checksum)算法，不少 Unix 系统有提供计算 md5 checksum 的命令。(2)数字签名 Hash 算法也是现代 密码体系中的一个重要组成部分。由于非对称算法的运算速度较慢，所以在数 字签名协议中，单向散列函数扮演了一个重要的角色。对 Hash 值，又称数字 摘要进行数字签名，在统计上可以认为与对文件本身进行数字签名是等效的。 而且这样的协议还有其他的优点。(3)鉴权协议如下的鉴权协议又被称作挑战--

　　的字节串变换成一个 128bit 的大整数，并且它是一个不可逆的字符串变换算 法，换句话说就是，即使你看到源程序和算法描述，也无法将一个 MD5 的值变 换回原始的字符串，从数学原理上说，是因为原始的字符串有无穷多个，这有 点象不存在反函数的数学函数。MD5 的典型应用是对一段 Message(字节串)产生 fingerprint(指纹)，以防止被篡改。举个例子，你将一段话写在一个叫 readme.txt 文件中，并对这个 readme.txt 产生一个 MD5 的值并记录在案，然 后你可以传播这个文件给别人，别人如果修改了文件中的任何内容，你对这个 文件重新计算 MD5 时就会发现(两个 MD5 值不相同)。如果再有一个第三方的认 证机构，用 MD5 还可以防止文件作者的抵赖，这就是所谓的数字签名应用。 MD5 还广泛用于加密和解密技术上，在很多操作系统中，用户的密码是以 MD5 值(或类似的其它算法)的方式保存的，用户 Login 的时候，系统是把用户输入 的密码计算成 MD5 值，然后再去和系统中保存的 MD5 值进行比较，而系统并不 知道用户的密码是什么.由于 HASH-散列的概念和算法过程对于非专业技术人 员的普通电脑和网络用户而言过于专业晦涩，很难准确理解和掌握，所以我明 确提出将它译为：文件完整性校验。个人认为这更加符合于中文应用惯例和其 本质作用与含义！在电脑和网络应用安全领域，加密与解密如同病毒与杀软始 终是一个截然对立但又互为促进的过程，文件完整性校验算法在它的长期应用 过程中也会不可避免的出现安全漏洞-遭受破解。当前通用的十种文件完整性校 验算法中以早期的 CRC32 与 MD5 算法最为流行，这是由于它们的诞生比较早[如 MD5 出现于为上世纪 90 年代初期]，其运算误差和安全性可满足一般的民用需 求而运算速度相对快捷，所以像 Whirlpoll 这样的新兴高强度算法并不为人所 知就显得很顺理成章了。看到这里大家可能会有这样的问题：既然以上提到的 CRC32 和 MD5 存在安全隐患为何还能长盛不衰被继续广泛使用直至今日?我举个 简单的例子：为了防御匪盗入室，很多家庭都会安装防盗门，其实安装个类似 银行的金库门当然会更安全一些.事实上除了考虑安全性之外我们还应当考虑经 济性、实用性、易用性和整体性[不只是一道门的问题，还要有具有同样安全防 范等级的窗户，但仅回家核对密码开门就需要一根烟的功夫].对于一个数百 MB 或更大的文件各种算法在速度上的差异比较是极其明显的，CRC32 仅用几秒钟 而 Whirlpoll 却需要数十秒，您会如何选择?或许这也是风云防火墙采用 CRC 这 种简捷校验方式的一个主要原因吧！

　　就是利用了 hash 算法的文件校验性这个功能了，文章前面已经说了一些这些功 能，其实这部分是一个非常复杂的过程，目前在 ftp,bt 等软件里面都是用的这 个基本原理，emule 里面是采用文件分块传输，这样传输的每一块都要进行对 比校验，如果错误则要进行重新下载，这期间这些相关信息写入 met 文件，直 到整个任务完成，这个时候 part 文件进行重新命名，然后使用 move 命令，把 它传送到 incoming 文件里面，然后 met 文件自动删除，所以我们有的时候会遇 到 hash 文件失败，就是指的是 met 里面的信息出了错误不能够和 part 文件匹 配，另外有的时候开机也要疯狂 hash，有两种情况一种是你在第一次使用，这 个时候要 hash 提取所有文件信息，还有一种情况就是上一次你非法关机，那么 这个时候就是要进行排错校验了。关于 hash 的算法研究，一直是信息科学里面 的一个前沿，尤其在网络技术普及的今天，他的重要性越来越突出，其实我们 每天在网上进行的信息交流安全验证，我们在使用的操作系统密钥原理，里面 都有它的身影，特别对于那些研究信息安全有兴趣的朋友，这更是一个打开信 息世界的钥匙，它在 hack 世界里面也是一个研究的焦点.

　　应用示例所谓 MD5，即Message-Digest Algorithm 5(信息-摘要算法)， 它由 MD2、MD3、MD4 发展而来的一种单向函数算法(也就是 HASH 算法)，它是国 际著名的公钥加密算法标准 RSA 的第一设计者 R.Rivest 于上个世纪 90 年代初 开发出来的。MD5 的最大作用在于，将不同格式的大容量文件信息在用数字签 名软件来签署私人密钥前压缩成一种保密的格式，关键之处在于--这种压缩 是不可逆的。大家都知道，地球上任何人都有自己独一无二的指纹，这常常成 为公安机关鉴别罪犯身份最值得信赖的方法；与之类似，MD5 就可以为任何文 件(不管其大小、格式、数量)产生一个同样独一无二的数字指纹，如果任何 人对文件做了任何改动，其 MD5 值也就是对应的数字指纹都会发生变化。我 们常常在某些软件下载站点的某软件信息中看到其 MD5 值，它的作用就在于我 们可以在下载该软件后，对下载回来的文件用专门的软件(如 Windows MD5 Check 等)做一次 MD5 校验，以确保我们获得的文件与该站点提供的文件为同一 文件。利用 MD5 算法来进行文件校验的方案被大量应用到软件下载站、论坛数 据库、系统文件安全等方面。上面提到的例子只是 MD5 的一个基本应用，实际 上 MD5 还被用于加密解密技术上，如 Unix、各类 BSD 系统登录密码(在 MD5 诞 生前采用的是 DES 加密算法，后因 MD5 安全性更高，DES 被淘汰)、通信信息加 密(如大家熟悉的即时通信软件 MyIM)、数字签名等诸多方面。MD5 将任意长度