数据中心建设方案

目 录

综述 .............................................................................................................................................2

IDC 网络建设 .............................................................................................................................5

IDC 网络建设 .............................................................................................................................6

IDC 基础系统建设 ...................................................................................................................11

IDC 应用服务系统建设 ...........................................................................................................24

IDC 综合管理系统 ...................................................................................................................32

IDC 计费系统 ...........................................................................................................................36

IDC 计费系统 ...........................................................................................................................40

技术服务 ...................................................................................................................................43

IDC 机房系统设计说明 ...........................................................................................................51

一期实施内容建议 ...................................................................................................................58

综述

经历了 ISP/ICP 飞速发展，.COM 公司的风靡后，一种新的服务模式--互联网数

据中心（Internet Data Center，缩写为 IDC）正悄然兴起。它在国外吸引着像

AT&T、AO- 、IBM、Exodus、UUNET 等大公司的巨资投入；国内不但四大电信运营商

中国电信、中国网通、中国联通、中国吉通开始做跑马圈地，一些专业服务商如

清华万博、首都在线和世纪互联等，也参与了角逐。

IDC(Internet Data Center) - Internet 数据中心，它是传统的数据中心与

Internet 的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、

主机运行可靠等，还应具有访问方式的变化、要做到 7x24 服务、反应速度快等 。

IDC 是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、

网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的

服务性能。

IDC 作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服

务器托管、空间租用、网络批发带宽甚至 ASP、EC 等业务。简单地理解，IDC 是对

入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖

以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户

等)实施价值链管理的平台。形象地说，IDC 是个高品质机房，在其建设方面，

对各个方面都有很高的要求。

IDC 的总 体 结 构 如 下图 所 示 :

IDC 的建设主要在如 下几 个方面 ：

网络建设

IDC 主要是靠其有一个高性能的网络为其客户提供服务， 这 个高性能的网络包

括 其- AN、 W AN 和与 Internet 接 入等方面。

IDC 的网络建设主要有 ：

- IDC 的- AN 的建设，包 括 其- AN 的基础结 构 ，- AN 的 层次 ，- AN 的性能。

- IDC 的 W AN 的建设， 即 IDC 的各分支机 构之 间 相 互 连接 的 广域 网的建设等。

- IDC 的用户 接 入系统建设， 即 如 何 保证 IDC 的用户以安全、可靠的方式 把 数据

传到 IDC 的数据中心，或对存 放 在 IDC 的用户 自己 的设 备进 行 维护 ， 这需 要 IDC

为用户提供 相 应的 接 入方式，如 拨号接 入、专线 接 入及 V PN 等。

- IDC 与 Internet 互联的建设。

- IDC 的网络管理建设， 由于 IDC 的网络结 构相当庞 大 而且复杂 ，要保证其网络

不间 断 对外服务， 而且 高性能， 必须 有一高性能的网络管理系统。

服务器建设

IDC 的服务器建设可分为 多 个方面，总 体上 分为基础服务系统服务器和应用服

务系统服务器，主要有 ：

- 基础系统服务器 ：这 类服务器是保 障 IDC 为用户提供各种服务的 前 提， 这 类

服务器有 DNS 服务器、目录服务器、网络管理服务器、 防火墙 服务器、各类安全服

务器、IDC 系统性能 监控 服务器等等。

- 数据 库 服务器 ： 它是保证 IDC 可以为用户提供各种应用服务的基础，IDC 的数

据 库 服务器 必须 能支持大容量访问、 多 种数据 库 等。

- 数据 备份 服务器 ： 它是 IDC 为客户提供安全服务的内容 之 一，保证客户的数

据安全可靠。 由于 IDC 的服务器种类 繁多 、有 多 种数据 库 ，所以数据 备份 要支持

多 机 型 、 多 种数据 格 式等等， 而且 容量要大。

- 应用服务器 ： 是 IDC 为用户提供 相关 应用服务的服务器。 由于 IDC 的业务 扩 展

所以应用服务器应具有很好的 扩 展性，以及支持各类应用软件的数量要 多 。

- 服务器的 负载均衡： 这 是 IDC 提供高性能、高可靠性服务的 重 要方 法之 一，

服务器的 负载均衡 可 由硬 件设 备 （如网络 交换 设 备 ）或软件的方 法 实 现 。

存储系统的建设

存储系统是 IDC 的 重 点建设内容 之 一，作为一个 IDC ，其存储系统是 相当庞 大的，特 别 是

在 现 在的企业中，数据的容量以 由 GB 级增长 到 TB 级 ，如 此 大的数据 需 要有一个 更加 安全、

可靠的存储系统， 由于 访问的数量也是 相当庞 大的，所以对存储系统的 效率 也有很高的要

求； 而且 存储系统应具有很好的 扩 展性，以 满足 IDC 的发展的 需 求。

软件系统的建设

软件系统的建设是 IDC 需 要大量投入的方面，它是在 前 面网络、服务器和存储系

统建设的基础 上 ，IDC 开展对外服务的 手段 。IDC 在软件建设的主要有 ：

- W e b 系统 ： IDC 开展 W e b -Hosting 服务内容 之 一， W e b 系统软件应支持在一个

系统 上 能建 立 为 多家 企业服务的 W e b 系统 功 能等。

- 电子 邮 件系统 ： 电子 邮 件系统应支持 多 种电子 邮 件 协 议，如

SMTP、POP 3 、IMAP4、 W e b -Mai- 和 V oi c e-Mai- 等， 同时 电子 邮 件系统应有很好 扩

展性等。

- 数据 库 系统 ： IDC 应建 立多厂家 的数据 库 系统，如应有 Ora c -

e 、In f or m ix、S Q - Ser v er、S y Base 等 厂家 的数据 库 ，以 满足 不 同 用户的 需 求。

- 安全系统 ： 如 防火墙 软件（ 硬 件 防火墙 除外）、 防黑 客入 侵 、 防病毒 软件等。

这 是保证 IDC 为用户提供安全服务器的 前 提。

- 数据 备份 软件 : 支持 多备份 设 备 、 多 种 厂家 的机器、 多 种数据 库 等等。

- 应用开发系统 ： IDC 应提供 相 应的开发系统平台，提供 相 应的开发 工 具， 满

足 用户或 IDC 开发 相 应应用的 需 求。

IDC 自身 服务系统建设

IDC 是靠其优质的服务 来占 有 市 场和 赢得 客户的，为了做到优质高 效 服务，IDC

在其 自身 服务器系统的建设 上 也 必须 有大量的投入。IDC 自身 服务系统主要有 ：

- 客户 关 系管理系统(C R M) : C R M 是 IDC 与客户建 立良 好 关 系的基础服务系统，

它为 IDC 提供的用户的发展 动态 以及用户的新的 需 求等。

- 计费系统 ： 计费系统是 IDC 收 入的保证。

- 网络与服务器管理系统 ： IDC 有 庞 大的网络和服务器系统，要管理好 这 些系

统， 必须 有一个 功 能 强 大的网络、服务器和应用管理系统， 此 能保证 IDC 对外的

服务质量。

- IDC 的内 部 管理系统 ： 保证 IDC 内 部 各 部门 能 够 统一 协调工 作， 完成 高质量的

服务。

机房场地建设

机房场地的建设是 IDC 前 期建设投入 最 大的 部 分。 由于 IDC 的用户可能 把 其 重 要的数据和

应用都存 放 在 IDC 的机房中，所以对 IDC 机房场地环境的要求是非常高的。 IDC 的机房场

地建设主要在如 下几 个方面 ：

- 机房 装修： 机房 装修 主要 考虑吊顶 、 隔断墙 、 门窗 、 墙壁 和 活动 地 板 等。

- 供电系统 ： 供电系统是 IDC 的场地建设 重 点 之 一， 由于 IDC 的大量设 备需 要 极 大的电 力

功率 ，所以供电系统的可靠性建设、 扩 展性是 极 其 重 要的。供电系统建设主要有 ： 供电 功率 、

UPS 建设（ n+1 ）、 配 电 柜 、电线、 插座 、 照 明系统、 接 地系统、 防雷 和 自 发电系统等。

- 空 调 系统 ： 机房的 温 度、通风方式和机房空 气 环境等。

- 安全系统 ：门禁 系统、 消防 系统和 监控 系统。

- 布 线系统 ： 机房应有 完整 的综合 布 线系统， 布 线系统包 括 数据 布 线、 语音布 线、 终端布 线。

- 通信系统 ： 包 括 数据线带宽、 语音 线 路 数目等。

IDC 网络建设

IDC

网络 功 能结 构

我们 建议的 IDC 网络结 构 如 下图 所 示：

·核 心 交换层：由两 台 CISCO 6509 多层交换 机 构成 ，实 现双 机容 错工 作，保证

数据的高速、 无阻塞 的 交换 。

·策略 分 布层： 可以 由 一 组 CSS 11000 系 列 内容 交换 机 组成 ， 负责完成 服务器 负

载均衡 和 策略 分 布任 务。

· 服务器访问 层：由 一 组 Cat 35 24 交换 机 组成 ， 完成 托管服务器的高速 接 入 工

作。

· 后 端 网络 ：由两 台 CISCO 6509 构成 ，实 现双 机容 错工 作，实 现 IDC 管理中心，

数据 库 、 邮 件、应用等服务器和存储系统的 连接 ，托管服务器通 过第二块 网 卡 和

后 端 网络 相连 ，保证 独立 和高速的数据访问。 同时 ，后 端 网络通 过防火墙 和 前端

的 核 心网络 连接 ，实 现 IDC 管理中心对 前端 网络的管理， 防火墙则 为后 端 网络

提供 更严格 的保 护 。

· 用户访问 层：由若干 台 Cat4 000 和一 组 Cat2 9 24 组成 ，提供企业和个 人 用户

接 入，提供 INTE R NET 上 网，企业用户还可以通 过 VL AN 和 自己 的托管服务器 连

接 实 现日 常的 维护工 作。

IDC 网络建设

方案设计 描 述

1． Internet 接 入网络结 构

由于本 系统 Internet 接 入服务用户主要 来自于 各写 字楼 内的公司和高 级酒店 、

公 寓 内的客 人 和 住 户， 且 各写 字楼相距较近 ，所以全 部采 用 L AN 结 构 为 这 些用

户提供 接 入服务，如 下图 所 示:

L AN 采 用 流 行的以 太 网络结 构 ，

核 心 交换： Cat 6509 多层交换 机

分 布层交换 或 周边 建 筑物 内主 干： Cat4 006 交换 机

接 入 层交换 机 ： Cat2 9 24 XL 交换 机

由于考虑 到在 酒店 和写 字楼 内 重 新 进 行数据 布 线有一 定困难 ，所以 采 用 TDS L 技

术实 现楼 内的数据传 输 ，所有数据 交换 设 备 都集中在中 央 机房内，但网络的总

体 结 构 不变。

核 心 交换使 用 两 台 Cata ly st 6509 构成 ，形 成 全 冗余 的高速网络 核 心。分 布层交

换 机 Cata ly st 4 006 使 用 两条千兆 线 路 分 别 与 两 台 6509 相连 ，形 成冗余 的 千兆

主 干 。 楼层交换 机 使 用 Cata ly st 2 9 24 XL 交换 机。

Cat 6509 上 的 千兆端口 还用 来连接 其 他 的 节 点，与其 他节 点的 L AN 一起 构成 一个

分 布 式的 城域范围 的数据中心的结 构 。

2 ． 用 CACHE 加 速 INTE R NET 访问

Internet 的发展 趋势 是 尽 可能地 将 内容在地理 上 靠 近 用户， 由于本 方案中

INTE R NET 接 入用户的大都 来自 与商务写 字楼 和 酒店 公 寓 ，其对 INTE R NET 的访问

具有很大的 重复 性，所以有 效 地 部署 CACHE 可以大大地 降低 INTE R NET 接 入的带

宽 负荷 ，提高内容的 相 应速度。

另 外， 由于现 在 INTE R NET 上出现越来越多 的 多媒体 形式的内容， 指望拓 宽

INTE R NET 出口 带宽 来 提高用户对 这 些内容的访问速度是 根本 不 现 实的， 而使 用

CACHE 技术对 INTE R NET 上 的 这 些内容 进 行 缓 存，不但可以 使这 些内容对用户变

得现 实可用，提高用户的 忠诚 度， 而且 还可以通 过定 期 定制 一些 多媒体节 目在

CACHE 中，以有 偿 的方式 向 用户提供， 这就演 化 成 了一种 增 值服务。

总 之 ，CACHE 对 IDC 以及 ISP 都是 必 不可 少 的，经营 者 可以通 过灵活 地 使 用

CACHE 来最 大 限 度地 降低成本 ，提 升利 润 。

我们 建议 使 用 NETAPP 公司的 NetCa c h e C 1105 来 提供 缓 存服务， 将 其 连接 在

INTE R NET 接 入 路由 器 上 提供服务。

NetCa c h e C 1105

的特点 ：

可靠性/可用性/可 扩 展性

专用的 体 系结 构 专 注 于 内容可用性的提供

微码 的 核 心系统，在 增加 数据可用性的 前 提 下 达 到 最 小 的开销

W A F L （ W rite An y wh ere F i l e S y ste m ）NetA pp 专 利 的 文 件系统优化了 磁盘 到网

络的传 输

冗余 的 热 插 拔 电源

ECC 内存保 护

OS 的 冗余 拷贝

简化的管理

专用的内容管理和 送达 软件

大 型部署时 的 多 系统管理

应用分 析 与 报告 的 日 志

快速的安 装 与 启 动

企业 框架 软件集 成 提供集中的应用管理

基 于 W EB 与 C L I 的管理

温 度、电源 监控 提供可 预测 的系统管理

安 全

加 固 了的 TCP/IP 协 议 栈 在 没 有 防火墙 的保 护下 也能 抵御 一 般 的网络 攻击

I c a p -ena bl ed 过 滤 和 病毒 检测

本 地支持的 第 三 方 过 滤表

NT L M、 L DAP 与 R ADIUS 认 证支持

AC L

多协 议

支持 HTTP、 F TP、NNTP

支持主要的 流 技术(MMS， R TSP， Q ui c k Ti m e)

iCAP-ena bl ed 应用提供 灵活 的对 增 值服务的访问

3． 服务器 负载均衡 的实 现

对 于 大 部 分站点 而 言 ， 采 用 多 个服务器 而 不是一台大 型 服务器，可以提高服务

器的 响 应性能， 减 少 服务器的单点 故 障 。但 多 台服务器的 采 用， 必须考虑 服务器

的 负载均衡 问 题 。在 本 方案中服务器 置 于 CSS 11 8 00 内容服务 交换 机 之 后，所以

由 CSS 11 8 00 完成 服务器的 负载均衡 。

CSS 11000 系 列 通 过 ACA(Arro wp oint Content Assure p roto c o l ) 制定负荷 参数，

选择 最 小 负荷 的服务器提供用户所 需 的内容。

同时 CSS 11000 系 列 还支持 加 权轮询 - W eig h ted R ound R o b in； 最 小 连接 机 制 ；

最 大 连接 数 限制 等 多 种 算 法 实 现负载均衡 。

Cis c o CSS 11000 系 列 内容服务 交换 机是业 界唯 一的 动态负载均衡交换 机， 采

用具有专 利 权 的 ACA 算 法 ，可以 根 据 Ca c h e 服务器的 命 中 率 、 流 建 立 数和

R TT( R ound Tri p Ti m e) 选择 最 合 适 的服务器应 答 用户的 请 求。与其 他 的 负载均衡

设 备 比 较 ，CSS 具有 更 高的 负载均衡 能 力 ， 因 为它是一种基 于流 的 交换 机，其

他厂家 的 负载均衡 设 备则 是基 于 包的 交换 机。基 于 包的解 决 方案通 过 检测 对 某 一

特 定 内容的 请 求 时 的 每 个包 来 做 转 发 决 定 ， 这 样 严重增加 了 CPU 的 负 担 。 而 作为

基 于流 的 交换 机的 CSS，一 旦 流 建 立 起 来 后， 该 流 所有的 流 量都 将 以线速 转 发。

CSS 以 下 面的 多 种方 法 支持 负载均衡：

· 具有专 利 权 的 ACA 负载均衡 算 法

· 轮询 (Round Robin, RR)

· 加 权轮询 (Weighted Round Robin, WRR)

· 最少连接 (Least Connection, LC)/ 最 大 连接 (Max Connection)

· 目的 IP 地 址

· 源 IP 地 址

· 域 / 域 Has h 算 法 (Do m ain/Do m ain h as h )

· U RL /U RL Has h 算 法

考虑 到建设 初 期， 负载均衡交换 机不是 必须 的设 备 ， 而且 也不是所有的托管站点都 需 要 负

载均衡功 能，所以， 我们 建议 先 不 采 用 负载均衡 设 备 ，等到有 需 求的 时 候再 增加 。

4 ．W EB 服务器的 连接

我们 为 IDC 中的 每 台托管服务器都 配 置 两组 网 卡 ，一 组 用 于前端 网络的 连接 ，

提供 W EB 访问； 另 一 组 用 于 后 端 网络的 连接 ，提供对数据 库 、 邮 件等服务器以及

存储系统的访问。

通 过使 用不 同 的网络通 道 进 行数据 库 等后台应用访问，可以 使 服务器 更 充 分的

利 用网络带宽 来相 应 W EB 请 求； 同时 ，后 端 网络与 前端 网络的分 离 可以 让 数据

库 访问、 文 件存 取 等要求高速、大容量的数据访问 享 有 更多 的网络带宽。

服务器通 过 一 组接 入 交换 机 Cat 35 24 连 入主 干交换 网络。

5． 后 端 网络的设计

由于 后 端 网络 连接 IDC 管理中心，数据 库 、 邮 件等服务器和大容量存储系统， 需

要高速的 交换 系统，所以 我们使 用 两 台 Cat 6509 交换 机作 冗余 的 核 心， 连接 一

组 Cat 35 24 提供和 W EB 服务器的 连接 ；对 于 数据 库 等服务器和存储系统，可以

采 用 千兆 以 太端口 或 千兆 以 太 通 道 提供高 达 数 G b p s 的 直 接连接 。

6． 用户的 远程 维护

一 般情况 下 ，IDC 用户 会 要求 远程 维护自己 的托管服务器， 由于 用户 只允许 对

自己 托管的服务器 进 行访问， 因 此 ， 必须采 用如 ：V PN、 VL AN 等技术保证 这 一点

通 过连接 到后 端 网络的 广域 网 路由 器可以提供用户通 过 专线、 拨号 、 V PN 等各种

方式实 现 远程 维护 。对 远程 维护 的行为 进 行可以通 过 以 下几 种方式 进 行 ：

· DDN 专线 ： 用户通 过 DDN 专线 连接 到 IDC 中心，通 过策略路由 或 VL AN 被 限制

只 能访问 自己 的服务器， 进 行 维护 。

· PSTN 或 ISDN 拨号： 用户通 过拨号 线 路 访问 IDC 中心， 身份 认 证 由 AAA

Ser v er 进 行， 并 进 行行为 授权 ，保证用户 只 能访问到 自己 的服务器 进 行 维护 。

·V PN ： 用户可能 距 离 IDC 中心 太 远 ， 从 各方面不具 备 通 过 DDN 或 PSTN 线 路 访

问 IDC 中心的 条 件， 这 是可以通 过 INTE R NET 采 用 V PN 的方式与 IDC 中心 连接 并

维护 服务器。 这 种 情况 下 ， 由 V PN Ser v er 或 V PN 路由 器保证 连接 的安全性和可

靠性。 V PN 的实 现 可以 采 用 IPSe c 隧道 和 MP L S V PN 技术，在保证信 息 正 确 可 达 的

情况 下 ，对用户信 息 进 行高 强 度的 加 密 ，保证用户信 息 的不 被窃取 和 完整 性。

对 于本 地 接 入的公司所托管的服务器， 由于 公司 L AN 和托管服务器 处 于 一个 L AN

结 构之 内，所以，服务器运行 维护 可以通 过定 义 VL AN 进 行。

7 ． 网络安全的 考虑

网络的安全主要通 过防火墙 和入 侵 检测 系统 来体现 ，通 过部署防火墙 系统，可

以 将 网络 划 分 成几 个安全等 级 不 同 的 部 分，对 于 要求安全等 级 高的 部 分，还可

以通 过部署多级防火墙来 提供安全保 护 。

入 侵 检测 系统 则 可以对 恶意 的入 侵 行为 进 行 探测 ， 进 行 记 录。

这部 分内容参 见 第 三章 第二节 " 安全性建设 " 。

8 ． 网络的 扩 展性

网络 良 好的 扩 展性可以 让 供应商在 相当长 一 段时 间内持 续 提供一 致 服务， 而无需进 行新的

投资， 我们 在网络设计中也 充 分 考虑 到了 这 一点。

网络主 交换 机 Cat6509 采 用模 块 设计， 最多 可以支持到 384 个 10/100 个快速以 太端口 ，或

130 个 千兆 以 太端口 。其 交换 带宽可以 从 32Gbps （ 15Mpps ） 扩 展到 256Gbps （ 150Mpps ），

用户可以 根 据 需 要 选 配端口 。

建 筑物 主 交换 机 Cat4006 也 采 用模 块 设计，支持 六 个 接口插 槽 ， 最多 可以 扩 展到 240 个快

速以 太端口 ， 72 个 千兆 以 太端口 。

楼层交换 机 Cat2924 支持 10/100 自 适 应 端口 速 率 ， 而且 2924 支持 多交换 机 堆叠 ，在 端口 数

不 够时 ，可以简 便 地 扩 充 端口而无需增加上层交换 机的 端口 。

Cat4006 可以通 过千兆 以 太 通 道 技术 来 提 升 主 干连接 速 率 ， Cat2924 也 同 样 支持快速以 太 通

道 和 千兆 的主 干连接 ，可以在 需 要的 时 候 平 滑 地 从 现 在的 10M/100M/1000M 的 交换 结 构升