/

スパコン「京」で復活した「忘れかけられた技術」

スパコンは再び「水冷」へ(1)

国家プロジェクトとして理化学研究所と富士通が共同開発した次世代スーパーコンピュータ「京」[注1]。2011年11月、理論演算処理性能10.51PFLOPS(ペタフロップス、毎秒1.051京回の浮動小数点演算を行う)を達成し、LINPACK[注2]ベンチマークのTOP500リストで2期連続となる首位を獲得した(図1)。

京は、最終構成で8万8128個のCPUを組み合わせた巨大な並列コンピュータだ。4つのCPUを搭載した「システムボード」が24枚と、1つのCPUを備える6枚の「IOシステムボード」などを組み込んだ筐体(ラック)の数は864にもなる(図2)。つまり、(4×24+6)×864=8万8128である。

その高い演算性能を支えるのは、1つで128GFLOPS(ギガフロップス)の処理能力を持つCPU、並列処理を実現するためにCPUやメモリーなどを結合するLSI(大規模集積回路)であるICC(インターコネクト・コントローラ)といったエレクトロニクス技術だけではない。発熱体を効率的に冷やす冷却システムが大切な役割を果たした。

特に重要だったのが、CPUやICCといった発熱密度が高い部分に適用された水冷技術だ。京の水冷システムでは、800を超えるラックごとに冷却水を供給し、その冷却水をラック内で24枚のシステムボードへと振り分ける。各システムボードには、CPUやICCに接触させて冷却するクーリングプレート8枚を配管で接続した冷却ユニットを取り付けてある。この冷却ユニットが、京の冷却システムの中核部分である。

[注1] 開発当初は、NECと日立製作所によるベクトル型の開発も行われていたが、2009年5月には開発費負担の大きさからNECと日立がプロジェクトから撤退(日立はNECとの契約でプロジェクトに参加していた)。その結果、理化学研究所は富士通と共同で、スカラ型単独での世界最速システムの開発を進めることとなった。さらに、2009年11月には行政刷新会議の事業仕分けで事実上のプロジェクト凍結の憂き目に遭いそうになった。
[注2] LINPACKとは、連立1次方程式の解法プログラムの一種。スパコンの速さの世界的な順位を示すTOP500リストを作成する際に使われる。なおTOP500リストは毎年6月と11月に発表されており、京は2011年6月と11月の2期連続で世界一速いスパコンと認定された。2012年6月には米IBM社の「Sequoia」が16.32PFLOPSで1位になり、京は2位となった。なおIBMのSequoiaも「温水冷却システム」と呼ぶ水冷方式を採用している。

実は、大型コンピュータの水冷技術は富士通にとって「忘れかけられた技術」だった。継続的な開発が止まった技術を復活させることに加えて、それを従来にない新しいコンピュータに適用するには、さまざまな課題を克服する必要があった。

再び脚光を浴びた水冷技術

「1980年代の大型コンピュータは全て水冷だった」(富士通アドバンストテクノロジHPC適用推進統括部統括部長の鈴木正博氏)。当時の大型コンピュータはECL(エミッタ結合論理)と呼ばれるタイプの回路を用いたLSIが主流。ECLは高速な代わりに発熱量が多く、空冷では間に合わなかった。冷却性能の高い水冷が不可欠だった。

ところが1990年代以降、ECLからCMOS(相補型金属酸化膜半導体)へと大型コンピュータの回路技術が切り替わるにつれて冷却に対するニーズが一変する。CMOSによる回路は稼働するときだけ発熱するため、「空冷でも対応できるようになった」(同氏)。空冷であれば、設備コストも小さくて済むので、大型コンピュータにおける水冷技術は不要となってしまったのだ。

このような状況の中、京の開発では水冷技術の適用が検討されることになる。その背景には、従来にない高い演算性能を目標としたことと、設置スペースが限られていたことがあった。

コンピュータの演算性能は、1℃温度を下げれば0.2%性能が向上するといわれる。つまり、温度を50℃下げることができれば、約10%の性能向上を期待できるわけだ。さらに冷却することで、CPUなどの故障率も下げられる。一般に、CPUの温度を10℃下げれば故障率は半減するといわれる。8万個を超えるCPUが連携する京では、システムを安定的に稼働させるためにはCPUの信頼性確保は不可欠だ。

冷却はフィンに対して空気を当てる空冷でも実現できるが、フィンを設置するのに必要となるスペースが水冷とは大きく異なる。例えば、同じ冷却性能を実現することを考えた場合、空冷フィンに必要となるスペースは、水冷のクーリングプレートの10倍となってしまうのだ。

京の開発では、最終的に設置するスペースが決まっており、その中に納める必要があった。目標となる演算性能を実現できるCPUやICCなどの数から、その実装密度はかなり高いものとなる。

具体的には、CPUとICCをそれぞれ4個、メモリーモジュール32枚を搭載したシステムボード24枚を幅と奥行きが750~800mm弱、高さ約2mのラックに収納(図3)。さらにラック内には電源なども納めなくてはならなかった。

この状況に対応するため、前述のように全体からラック、システムボード、CPUやICCへと枝分かれしていく冷却システムを完成させた。総延長で70kmの銅の配管と23kmのゴムの配管、そして50万個のジョイントで構成される京の水冷システムは、開発元の富士通にとって大きな挑戦だったのだ(図4)。

従来技術をサーベイ

「当時、大型コンピュータの水冷技術に携わっていた技術者は数十人いた。しかしコンピュータの冷却の主流が空冷になったことで、その技術者たちはストレージ系などの部門へ異動し、ばらばらになっていた」(富士通次世代テクニカルコンピューティング開発本部システム開発統括部第一開発部部長の高田恭一地氏)。このような状況の中、京の水冷システムの開発はスタートした。

どのような冷却材を使えばどれくらい冷えるのか、配管材料の腐食性の評価やホースの選定はどうすればよいのか、といったノウハウをまとめた文書は残っているはずだった。しかし、「どこにあるか分からない状況」(同氏)だったという。

そこで、以前に水冷技術に携わっていた技術者へのヒアリングを進めた。もちろん、単に過去の技術を掘り起こしただけで京の冷却システムが完成するわけではない。発熱量も設置スペースも、その条件は従来よりも厳しいものだったからだ。 (次回は8月3日に掲載)

(日経ものづくり 中山力)

[日経ものづくり2012年6月号の記事を基に再構成]

初割ですべての記事が読み放題
今なら2カ月無料!

関連企業・業界

企業:

セレクション

トレンドウオッチ

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

フォローする
有料会員の方のみご利用になれます。気になる連載・コラム・キーワードをフォローすると、「Myニュース」でまとめよみができます。
新規会員登録ログイン
記事を保存する
有料会員の方のみご利用になれます。保存した記事はスマホやタブレットでもご覧いただけます。
新規会員登録ログイン
Think! の投稿を読む
記事と併せて、エキスパート(専門家)のひとこと解説や分析を読むことができます。会員の方のみご利用になれます。
新規会員登録 (無料)ログイン
図表を保存する
有料会員の方のみご利用になれます。保存した図表はスマホやタブレットでもご覧いただけます。
新規会員登録ログイン