Googleデータセンター
_-_panoramio_-_erwinboogert_(2).jpg/1280px-Google_datacenter_(2007)_-_panoramio_-_erwinboogert_(2).jpg)
| 外部ビデオ | |
|---|---|
 ユーチューブ | |
 Google データセンター 360° ツアー |
Google は、大容量ドライブ、ラックの通路に配置されたコンピュータノード、内部および外部のネットワーク、環境制御 (主に冷却と加湿の制御)、運用ソフトウェア (特に負荷分散とフォールト トレランスに関するもの)を組み合わせた大規模なデータ センター施設を使用してサービスを提供しています。
Googleデータセンターに何台のサーバーがあるのかに関する公式データはありませんが、ガートナーは2016年7月のレポートで、当時のGoogleのサーバー台数は250万台と推定しています。この数字は、Googleが容量を拡大し、ハードウェアを更新しているため、変化しています。[ 1 ]
場所
Googleの各データセンターの大陸別の所在地は次のとおりです。[ 2 ] [ 3 ]
ハードウェア
オリジナルハードウェア
Googleがスタンフォード大学に拠点を置いていた当時使用されていたオリジナルのハードウェア（1998年頃）には以下のものが含まれていた。[ 78 ]
- Sun Microsystems Ultra II（デュアル200MHzプロセッサ、256MBのRAM搭載 ）。 これがオリジナルのBackrubシステムのメインマシンでした。
- Intelから寄贈された300MHzデュアルPentium IIサーバー2台には、512MBのRAMと9GB のハードドライブ10台が搭載されていました。メインの検索はこれらのサーバー上で実行されました。
- IBMから寄贈されたF50 IBM RS/6000には、4 つのプロセッサ、512 MB のメモリ、8 × 9 GB ハード ディスク ドライブが搭載されていました。
- 追加の2つのボックスには、それぞれ9GBハードドライブ3台と4GBハードディスクドライブ6台（Backrubのオリジナルストレージ）が収められていました。これらはSun Ultra IIに接続されていました。
- IBM から寄贈された 8 × 9 GB ハード ディスク ドライブを備えた SSD ディスク拡張ボックス。
- 10 × 9 GB SCSIハード ディスク ドライブが入った自家製ディスク ボックス。
Google クラスタ
2003年のGoogleのインフラストラクチャの状態は、ルイス・アンドレ・バローゾ、ジェフ・ディーン、ウルス・ヘルツレによる報告書で「信頼性の低いコモディティPCのクラスターから構築された信頼性の高いコンピューティングインフラストラクチャ」と表現されています。[ 79 ]
当時、1回の検索クエリは平均で約100MBのデータを読み込み、 CPUサイクルを消費していました。ピーク時には、Googleは1秒あたり約1,000件のクエリを処理していました。このピーク負荷に対応するため、Googleはコスト削減のため、高価なスーパーコンピュータハードウェアではなく、約15,000台の汎用PCで構成されたコンピューティングクラスタを構築しました。ハードウェアの信頼性の低さを補うため、フォールトトレラントソフトウェアを開発しました。
_-_panoramio_-_erwinboogert_(2).jpg){kind=link}
クラスタの構造は5つの部分で構成されています。中央のGoogle Webサーバー（GWS）はパブリックインターネットに面しています。ユーザーからのリクエストを受信すると、Google Webサーバーはスペルチェッカー、広告サーバー、多数のインデックスサーバー、多数のドキュメントサーバーと通信します。4つの各部分はリクエストの一部に応答し、GWSはそれらの応答をまとめてユーザーに最終的なレスポンスを提供します。
生のドキュメントは約100TB、インデックスファイルは約10TBでした。インデックスファイルはシャーディングされており、各シャードはインデックスサーバーの「プール」によって提供されます。同様に、生のドキュメントもシャーディングされています。インデックスファイルへのクエリごとにドキュメントIDのリストが生成され、ドキュメントサーバーに送信されてタイトルとコンテキスト内キーワードのスニペットが取得されます。
使用されていたCPU世代は複数あり、シングルプロセッサの533MHz Intel-Celeronベースサーバーからデュアル1.4GHz Intel Pentium IIIまで多岐にわたりました。各サーバーには、 80GBのハードドライブが1台以上搭載されていました。インデックスサーバーのディスク容量はドキュメントサーバーよりも小さくなっています。各ラックには、両側に1台ずつ、合計2台のイーサネットスイッチが設置されていました。各ラックのサーバーは100Mbpsで相互接続されていました。各スイッチは、すべてのラックに接続された中央スイッチへの約250MB/秒のアップリンクを備えていました。
設計目標は次のとおりです。
- 信頼性の低い消費者向けハードウェアを使用し、フォールト トレラント ソフトウェアでそれを補います。
- 大規模なインデックス内の単一のドキュメント一致検索を、多数の小さなインデックスにわたるMapReduceに分割するなどして、並列処理を最大化します。
- クラスターは大規模な共有メモリ マシンであるため、インデックス データと計算をパーティション分割して通信を最小限に抑え、サーバー間で負荷を均等に分散します。
- すべてのソフトウェアを社内で開発することで、システム管理のオーバーヘッドを最小限に抑えます。
- 絶対的なパフォーマンスではなく、パフォーマンス/価格を最大化するハードウェアを選択してください。
- 高いレイテンシよりも高いスループットを持つハードウェアを選びましょう。これは、クエリが大規模な並列処理で処理され、依存するステップが極めて少なく、サーバー間の通信も最小限に抑えられるため、高いレイテンシは問題にならないためです。
大規模な並列処理により、ハードウェアをスケールアップするとスループットが直線的に増加します。つまり、コンピューティング クラスターを 2 倍にすると、1 秒あたりに処理可能なクエリの数も 2 倍になります。
クラスターは、2つの構成（1Uラック×40台、2面構成、または2Uラック×20台、2面構成）のサーバーラックで構成されています。消費電力はラックあたり10kW、密度は400W/ft^2で、月間消費電力は10MWh、月額費用は1,500ドルです 。
生産ハードウェア
2014年現在、GoogleはDebian Linuxの大幅にカスタマイズされたバージョンを使用しています。同社は2013年にRed Hatベースのシステムから段階的に移行しました。[ 80 ]
カスタマイズの目標は、絶対的なパフォーマンスではなく、1ドルあたりのパフォーマンスが最も高いCPU世代を購入することです。これをどのように測定するかは不明ですが、サーバー全体の運用コストが組み込まれる可能性が高く、CPUの消費電力が重要な要素となる可能性があります。[ 81 ] 2009～2010年時点のサーバーは、2つのプロセッサー（それぞれ複数のコア[ 82 ]）、ダブルハイトDIMMを収容する8つのDIMMスロットに分散されたかなりの量のRAM、非標準のATXサイズの電源ユニットを介して接続された少なくとも2つのSATAハードディスクドライブを備えたカスタムメイドのオープントップシステムで構成されていました。[ 83 ]サーバーがオープントップだったのは、より多くのサーバーをラックに収めるためでした。CNETとジョン・ヘネシーの著書によると、各サーバーにはコストを削減し、電力効率を向上させるために、新しい12ボルトバッテリーが搭載されていました。[ 82 ] [ 84 ]
グーグルによると、同社の世界規模のデータセンターの運用電力は2010年までに500～681メガワットの範囲に及んだ。 [ 85 ] [ 86 ]これらのサーバーを合わせた処理能力は2008年には20～100ペタフロップスに達した可能性がある。 [ 87 ]
ネットワークトポロジ
Googleの全世界のプライベートネットワークの詳細は公表されていないが、Googleの出版物[ 88 ] [ 89 ]では、GoogleをLevel 3に次ぐ第3位のISPとしてランク付けした「Atlas Top 10」レポートに言及している。
このような大規模なネットワークを、可能な限り低コストで、できるだけ多くのISPに直接接続して運用するために、Googleは非常にオープンなピアリングポリシーを採用しています。[ 90 ]
このサイトから、Google ネットワークには世界中の 67 か所のパブリック エクスチェンジ ポイントと 69 か所からアクセスできることがわかります。2012 年 5 月の時点で、Google は 882 Gbit/s のパブリック接続を保有していました (Google が大手 ISP と締結しているプライベート ピアリング契約は除く)。このパブリック ネットワークは、Google ユーザーにコンテンツを配信するだけでなく、インターネットをクロールして検索インデックスを作成するためにも使用されます。ネットワークのプライベート側は秘密ですが、Google の最近の開示情報[ 91 ]によると、同社はワイド エリア ネットワークにカスタム構築された高基数スイッチ ルーター(10ギガビット イーサネットポート× 128 個の容量) を使用しています。データセンターごとに少なくとも 2 台のルーター (冗長性のため) を実行していることから、Google ネットワークはテラビット/秒の範囲で拡張可能であると結論付けることができます (2 台のルーターがフル装備の場合、2 セクションの帯域幅は 1,280 Gbit/s になります)。
これらのカスタム スイッチ ルーターはDWDMデバイスに接続され、ダーク ファイバー経由でデータ センターとPoint of Presence (PoP)を相互接続します。
データセンターの観点から見ると、ネットワークはラック レベルから始まります。ここでは、19 インチ ラックがカスタム メイドされ、40 ～ 80 台のサーバー (両側に20 ～ 40 台の 1 Uサーバー、新しいサーバーは 2U ラックマウント システム) が搭載されています。 [ 92 ]各ラックにはイーサネット スイッチがあります。サーバーは、1 Gbit/sイーサネットリンクを介してトップ オブ ラック スイッチ (TOR) に接続されます。次に、TOR スイッチは、複数のギガビットまたは 10 ギガビット アップリンクを使用してギガビットクラスター スイッチに接続されます。 [ 93 ]クラスター スイッチ自体は相互接続され、データセンター相互接続ファブリックを形成します (従来のバタフライ レイアウトやフラット化されたバタフライ レイアウトではなく、トンボ デザインを使用する可能性が高い[ 94 ] )。
運用面では、クライアントコンピュータがGoogleに接続しようとすると、複数のDNSサーバーがラウンドロビンwww.google.com方式によって複数のIPアドレスに解決されます。さらに、これは第一段階の負荷分散として機能し、クライアントを異なるGoogleクラスタに誘導します。Googleクラスタには数千台のサーバーがあり、クライアントがサーバーに接続すると、クエリを最も負荷の少ないウェブサーバーに送信するために追加の負荷分散が行われます。これにより、Googleは最大規模かつ最も複雑なコンテンツ配信ネットワークの一つとなっています。[ 95 ]
Googleは世界中に多数のデータセンターを保有しています。少なくとも12の重要なGoogleデータセンターが米国にあります。最大のデータセンターは、オレゴン州ダレス、ジョージア州アトランタ、バージニア州レストン、ノースカロライナ州レノア、サウスカロライナ州モンクスコーナーにあります。[ 96 ]ヨーロッパでは、最大のデータセンターはオランダのエームスハーフェンとフローニンゲン、ベルギーのモンスにあります。[ 96 ] Googleのオセアニアデータセンターはオーストラリアのシドニーにあります。[ 97 ]
データセンターネットワークトポロジ
フォールトトレランスをサポートし、データセンターの規模を拡大し、低基数スイッチに対応するために、Googleは過去にさまざまな修正されたClosトポロジを採用してきました。 [ 98 ]
プロジェクト02
グーグル最大のデータセンターの一つは、オレゴン州ザ・ダレスの町にあり、コロンビア川沿い、ポートランドから約80マイル（129 km）の距離にある。「プロジェクト02」というコードネームで呼ばれるこの複合施設は2006年に建設され、アメリカンフットボール場2つ分ほどの広さで、4階建ての冷却塔を備えている。 [ 99 ] [ 100 ]この場所は、安価な水力発電を利用し、ドットコムバブルの名残であるこの地域の大量の余剰光ファイバーケーブルを活用するために選ばれた。敷地の設計図は2008年に公開された。[ 101 ]
スマ製紙工場
2009年2月、ストーラ・エンソはフィンランドのハミナにあるスンマ製紙工場をグーグルに4000万ユーロで売却したと発表した。 [ 102 ] [ 103 ]グーグルはデータセンターを建設するためにこの場所に2億ユーロを投資し、2012年にはさらに1億5000万ユーロの投資を発表した。[ 104 ] [ 105 ]グーグルがこの場所を選んだのは、再生可能エネルギー源の利用可能性と近さのためである。[ 106 ]
フローティングデータセンター
2013年、報道機関はカリフォルニア州（トレジャーアイランドのビルディング3）とメイン州の沿岸にGoogleの浮体式データセンターが存在することを明らかにしました。この開発プロジェクトは厳重な秘密裏に進められていました。データセンターは長さ250フィート、幅72フィート、深さ16フィートです。海中データセンター冷却技術の特許は、2009年にGoogleによって取得されました[ 107 ] [ 108 ]（2008年には波力発電の船舶型データセンターの特許も取得しました[ 109 ] [ 110 ]）。その後まもなく、Googleは、秘密裏に建設された2つの巨大なインフラは「インタラクティブな学習センターであり、人々が新しい技術について学ぶことができる空間」であると宣言しました[ 111 ] 。
グーグルは2013年後半にはしけでの作業を中止し、2014年にはしけの売却を開始した。[ 112 ] [ 113 ]
ソフトウェア
Googleがサーバーで使用しているソフトウェアスタックのほとんどは社内で開発されたものである。[ 114 ] 2006年の著名な元Google社員によると、C++、Java、Python、（最近では）Goが他のプログラミング言語よりも好まれているという。[ 115 ]たとえば、GmailのバックエンドはJavaで書かれており、Google検索のバックエンドはC++で書かれている。[ 116 ] GoogleはPythonが当初から重要な役割を果たしており、システムが成長し進化するにつれてその役割を担い続けていることを認めている。[ 117 ]
Googleのインフラストラクチャを実行するソフトウェアには以下が含まれます。[ 118 ]
- Google Web Server (GWS) – Google がオンライン サービスに使用するカスタム Linux ベースの Web サーバー。
- ストレージシステム:
- チャビーロックサービス
- MapReduceとSawzallプログラミング言語
- インデックス/検索システム:
- Borg宣言型プロセス スケジューリング ソフトウェア
Googleは、ほとんどのデータを保存するために使用するいくつかの抽象化を開発しました。[ 126 ]
- プロトコルバッファ - 「Googleのデータ共通語」[ 127 ]。社内で広く使用されているバイナリシリアル化形式。
- SSTable（ソート済み文字列テーブル）は、キーと値の両方が任意のバイト文字列である、永続的かつ順序付けされた不変のキーから値へのマップです。Bigtableの構成要素の一つとしても使用されます。[ 128 ]
- RecordIO – 可変サイズのレコードのシーケンス。[ 126 ] [ 129 ] [ 130 ]
ソフトウェア開発の実践
ほとんどの操作は読み取り専用です。更新が必要な場合、クエリは他のサーバーにリダイレクトされ、一貫性の問題を簡素化します。クエリはサブクエリに分割され、これらのサブクエリは異なるサーバーに並列に送信されるため、レイテンシが短縮されます。[ 92 ]
避けられないハードウェア障害の影響を軽減するため、ソフトウェアはフォールトトレラント設計を採用しています。そのため、システムがダウンした場合でも、データは他のサーバー上で利用可能であり、信頼性が向上します。
検索インフラストラクチャ
索引
ほとんどの検索エンジンと同様に、Googleは転置インデックスと呼ばれるデータ構造を構築することで文書のインデックスを作成します。このインデックスは、検索語句に基づいて文書のリストを取得します。サーバーに保存されている文書の数が多いため、インデックスは非常に大きくなります。[ 95 ]
インデックスはドキュメントIDによってシャードと呼ばれる複数の断片に分割され、各シャードは複数のサーバーに複製されます。当初、インデックスは従来の情報検索（IR）システムと同様に、ハードディスクドライブから提供されていました。Googleは、増加するクエリ量に対応するため、各シャードのレプリカ数を増やし、サーバー数も増やしました。間もなく、インデックス全体のコピーをメインメモリに保存するのに十分なサーバー数があることに気づき（ただし、レプリケーションは低レベル、あるいは全く行われない）、2001年初頭にGoogleはインメモリ・インデックス・システムに移行しました。この移行により、検索システムの「多くの設計パラメータが根本的に変更」され、スループットが大幅に向上し、クエリのレイテンシが大幅に減少しました。[ 131 ]
2010年6月、Googleは検索インデックスを継続的にクロール・更新できる次世代のインデックス作成・配信システム「Caffeine」を発表しました。これまでGoogleは、一連のMapReduceジョブを用いて検索インデックスを一括更新していました。インデックスは複数のレイヤーに分割されており、レイヤーによっては更新速度が異なり、メインレイヤーは最大2週間更新されないこともありました。Caffeineでは、インデックス全体が継続的に増分更新されます。その後、Googleは「Percolator」[ 132 ]と呼ばれる分散データ処理システムを発表しました。これがCaffeineインデックスシステムの基盤と言われています。[ 124 ] [ 133 ]
サーバーの種類
Googleのサーバーインフラストラクチャはいくつかの種類に分かれており、それぞれ異なる目的に割り当てられています。[ 92 ] [ 95 ] [ 134 ] [ 135 ] [ 136 ]
- ウェブサーバーは、ユーザーから送信されたクエリの実行を調整し、その結果をHTMLページにフォーマットします。実行は、インデックスサーバーへのクエリの送信、結果のマージ、順位の計算、各ヒットの概要の取得（ドキュメントサーバーを使用）、スペルチェックサーバーへの候補の問い合わせ、そして最後に広告サーバーからの広告リストの取得で構成されます。
- データ収集サーバーは、ウェブのスパイダー処理に常時使用されます。GoogleのウェブクローラーはGoogleBotと呼ばれ、インデックスとドキュメントデータベースを更新し、Googleのアルゴリズムを適用してページのランキングを決定します。
- 各インデックスサーバーには、インデックスシャードのセットが含まれています。これらのシャードは、特定のドキュメントID（「docid」）に対応するドキュメントにクエリワードが含まれるように、ドキュメントIDのリストを返します。これらのサーバーは必要なディスク容量は少ないですが、CPU負荷は最も高くなります。
- ドキュメントサーバーは文書を保存します。各文書は数十台のドキュメントサーバーに保存されます。検索を実行すると、ドキュメントサーバーは検索語に基づいて文書の要約を返します。また、要求に応じて文書全体を取得することもできます。これらのサーバーはより多くのディスク容量を必要とします。
- 広告サーバーは、AdWordsやAdSenseなどのサービスによって提供される広告を管理します。
- スペル サーバーはクエリのスペルに関する提案を行います。
また、「カナリアリクエスト」と呼ばれるものもあり、これはリクエストをまず1つまたは2つのリーフサーバーに送信し、応答時間が適切かどうかを確認します。適切でない場合、リクエストは失敗します。これによりセキュリティが確保されます。[ 137 ]
安全
| 外部ビデオ | |
|---|---|
ユーチューブ | |
| Google データセンターのセキュリティ: 6 層の深さ |
2013年10月、ワシントンポスト紙は、米国国家安全保障局がMUSCULARというプログラムの一環として、Googleのデータセンター間の通信を傍受したと報じた。[ 138 ] [ 139 ]この盗聴が可能になったのは、当時Googleが自社ネットワーク内でやり取りされるデータを暗号化していなかったためである。[ 140 ]これは、Googleが2013年にデータセンター間で送信されるデータを暗号化し始めたことで修正された。 [ 141 ]
環境への影響
2012年にGoogleが最も効率よく稼働したデータセンターのいくつかは、電気で動く空調を必要とせず、新鮮な空気のみで冷却し、35℃（95°F）で稼働した。[ 142 ]
2016年12月、Googleは2017年以降、データセンターとオフィスのエネルギー使用量の100%に相当する再生可能エネルギーを購入すると発表しました。このコミットメントにより、Googleは「世界最大の再生可能エネルギー購入企業となり、風力と太陽光発電で合計2.6ギガワット（2,600メガワット）の電力を購入する」ことになります。[ 143 ] [ 144 ] [ 145 ]
2025年、グーグルはアイオワ州にある600MWのデュアン・アーノルド原子力発電所を2029年までに再稼働させるために資金を支払うことに同意した。[ 146 ]
参考文献
- ^ 「Googleにはサーバーがいくつあるか？」データセンターナレッジ、2017年3月16日。 2018年9月20日閲覧。
- ^ 「Googleデータセンター、所在地」 。 2014年7月21日閲覧。
- ^ 「ISO/IEC 27001 - コンプライアンス」 . Google Cloud . 2023年7月11日閲覧。
- ^ a bレポート、Times-Mirrorスタッフ（2019年6月19日）。「Google、ラウドン郡への6億ドルの投資を「締め切り」」LoudounTimes.com。2021年2月12日閲覧。
- ^ a b「Google、Loudounに2つのデータセンターを計画」 LoudounNow.com 2017年11月29日. 2023年4月12日閲覧。
- ^アレラーノ (CIPER)、アルベルト (2020 年 5 月 25 日)。「Google と Cerrillos のメガプロジェクトの "a ciegas" el megaproyecto」。CIPER チリ(スペイン語) 。2023 年7 月 10 日に取得。
- ^ “Google instalará un nuevo data center en Chile” . diarioeldia.cl (スペイン語). 2021年9月22日時点のオリジナルよりアーカイブ。2019年9月28日閲覧。
- ^ “サンティアゴの Google Cloud 地域が新たな可能性を秘めています。” .グーグル。 2021年12月1日。2023 年7 月 10 日に取得。
- ^ 「オハイオ州コロンバスでGoogle Cloudリージョンが利用可能になりました」。Google Cloudブログ。2023年7月10日閲覧。
- ^ 「ナマステ、インド。デリー首都圏の新しいクラウド リージョンが稼働を開始しました」。cloudonair.withgoogle.com 。
- ^ 「カタールに新しいGoogle Cloudリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「ダブリン、アイルランド – データセンター – Google」www.google.com . 2019年4月2日閲覧。
- ^バラッツァ (2021年9月2日). 「ハーナウのプロジェクト: RECHENZENTRUM FÜR GOOGLE ENTWICKELT」。NDC-ガーベ。
- ^ a b「Google Cloud、新たなインフラと持続可能なエネルギーでドイツに投資」 Google Cloud ブログ2023年7月10日閲覧。
- ^ 「Google、デンマーク初のデータセンター着工」 Google 、 2018年11月20日。 2023年7月10日閲覧。
- ^ 「Google、フィンランドのハミナに6番目のデータセンター建設を承認」 2020年9月11日。
- ^ 「Googleインフラへの投資、ネバダ州への投資」 Google Cloud Blog 2023年7月10日閲覧。
- ^ Torres-Cortez, Ricardo (2020年9月16日). 「Google、ヘンダーソンデータセンターに6億ドル追加投資へ – ラスベガス・サン紙」 . lasvegassun.com . 2021年2月12日閲覧。
「今回の発表により、グーグルはヘンダーソン市への総投資額を12億ドルに増やすことになる」とデブラ・マーチ市長は発表の中で述べた。
- ^ Baxtel. 「Google Henderson NV データセンター」 . baxtel.com . 2021年2月12日閲覧。
- ^ 「近日公開：GCPの香港リージョン」。Google Cloud Blog 。 2023年7月10日閲覧。
- ^ 「アジア太平洋地域におけるプレゼンスの拡大：香港とジャカルタに新しいGCPリージョン」。Google Cloud Blog 。 2023年7月10日閲覧。
- ^ 「ジャカルタに新しいGoogle Cloudリージョンがオープンしました」。Google Cloudブログ。 2021年9月15日閲覧。
- ^ 「Google Cloud Platform 東京リージョンがオープン」 Google Cloud ブログ2023年7月10日閲覧。
- ^ 「Google - シンガポール」 www.streetdirectory.com . 2023年7月11日閲覧。
- ^ 「Google Cloud Platform がロンドンにオープン」。Google Cloud ブログ。2023年7月10日閲覧。
- ^ 「スペインのマドリードに新しいGoogle Cloudリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「メルボルンのGoogle Cloudリージョンがオープンしました」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「Welcome」 . Agriport A7 (オランダ語) . 2023年7月10日閲覧。
- ^ 「Google、オランダの新データセンター建設に11億ドルを投資」 Data Center Knowledge . 2019年6月24日.
- ^ 「Google Cloud リージョンがテキサス州ダラスで利用可能になりました」。Google Cloud ブログ。2023年7月10日閲覧。
- ^ 「Googleの6億ドル規模の大規模データセンターがエリス郡に建設へ、テック大手はテキサス州でのプレゼンスを拡大」ダラス・ニュース、2019年6月14日。 2021年2月12日閲覧。
- ^ 「イタリア、ミラノに新しいGoogle Cloudリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「ケベック州におけるGoogleの活動拡大プロジェクト - ボーアルノワに将来のコンピュータデータセンター」 www.quebec.ca （フランス語） 。 2021年5月10日閲覧。
- ^ 「GCPがモントリオールリージョンの開設によりカナダに進出」 Google Cloud Blog 2023年7月10日閲覧。
- ^ 「Googleのケベック州における継続的な取り組み」。Googleブログ - 企業ニュース。2021年2月12日閲覧。
- ^ Stiver, Dave (2017年11月1日). 「GCPがムンバイリージョンの開設によりインドに進出」 . Google Cloud Blog . 2019年7月30日閲覧。
- ^ウィリアムズ、マーク。「Google、6億ドル規模のデータセンターでニューアルバニーのハイテク企業群に加わる」。コロンバス・ディスパッチ。 2020年12月30日時点のオリジナルよりアーカイブ。 2021年2月12日閲覧。
- ^ 「オハイオ州ニューアルバニー – データセンター – Google」。Googleデータセンター。 2021年2月12日閲覧。
- ^ 「Google Cloud、日本で拡大する顧客基盤をサポートするため、大阪リージョンを開設」Google Cloud ブログ2023年7月10日閲覧。
- ^ 「GCPがサンパウロリージョンの開設により南米に進出！」 Google Cloud Blog . 2023年7月10日閲覧。
- ^ 「Google、6億ドル規模のPapillionデータセンタープロジェクトの背後にいることを明らかに」 www.datacenterdynamics.com 2019年10月4日2021年2月12日閲覧。
- ^ 「ネブラスカ州パピリオン – データセンター – Google」。Googleデータセンター。 2021年2月12日閲覧。
- ^ 「Google Cloud リージョンがパリ（フランス）にオープン」。Google Cloud ブログ。2023年7月10日閲覧。
- ^ Dawn-Hiscox, Tanwen (2018年2月20日). 「Google、Pryorデータセンター拡張に1000万ドルを投資へ」 . Data Centre Dynamics . 2019年4月23日時点のオリジナルよりアーカイブ。 2019年4月23日閲覧。
- ^ “Google は、チリの中心都市での損失を決定する” . Newtechmag.net (スペイン語)。 2018年9月28日。 2019年3月30日のオリジナルからアーカイブ。2018 年12 月 8 日に取得。
- ^ Tanwen Dawn-Hiscox (2017年4月18日). 「Googleはネバダ州に大規模なデータセンターを計画している」 . Datacenterdynamics.com . 2018年12月8日閲覧。
- ^ Jason Hidalgo (2018年11月16日). 「ネバダ州、ラスベガス近郊のGoogleのMデータセンター建設を承認、税制優遇措置もM」 Rgj.com . 2018年12月8日閲覧。
- ^ Jason Hidalgo (2020年9月16日). 「Google、リノ近郊のデータセンターに6億ドルを投資、税制優遇措置も」 Reno Gazette Journal . 2020年10月26日閲覧。
ストーリー郡の新データセンターとヘンダーソン拠点への投資拡大により、Googleはネバダ州に2つの施設を持つことになり、総投資額は18億8000万ドルを超える。
- ^ 「ソルトレイクシティのGoogle Cloudリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「ソウルの新しいGCPリージョン」。Google Cloud Blog 。 2023年7月10日閲覧。
- ^ 「Google Cloud、シドニーの新リージョン開設でオーストラリアへ進出」 Google Cloud ブログ2023年7月10日閲覧。
- ^ 「Google、イスラエルのテルアビブにGCPリージョンを開設」 datacenterdynamics.com . 2022年10月19日。
- ^ 「イスラエルのテルアビブにGoogle Cloudリージョンが開設」 Google Cloudブログ2023年7月10日閲覧。
- ^ 「Google Cloud Torontoリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「イタリア、トリノに新しいGoogle Cloudリージョンがオープン」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「Google、ポーランドにクラウドデータセンターを建設へ」。データセンターナレッジ。2019年9月27日。
- ^ 「Google、アラバマ州Mデータセンターの建設を開始」。Made in Alabama。2018年4月9日。 2019年8月19日閲覧。
- ^ “Die Schweizer Google Cloud Platform zieht zu Green in den Aargau” . Swiss IT Magazine (ドイツ語) 。2023 年7 月 10 日に取得。
- ^ <<Web を引用|url= https://www.datacenterknowledge.com/google-alphabet/google-building-cloud-data-centers-close-swiss-banks%7Ctitle=Google Building Cloud Data Centers Close to Swiss Banks||
- ^ a b c d e「5つの新しいGoogle Cloudリージョンの紹介」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ "Google plant ein großes Rechenzentrum südlich des Flughafens BER" .デア・シュピーゲル（ドイツ語）。 2022 年 9 月 30 日。ISSN 2195-1349 。2023 年7 月 10 日に取得。
- ^ 「ベルリン・ブランデンブルク Google Cloud リージョンがオープン」。Google Cloud ブログ。 2024年2月3日閲覧。
- ^ 「Google Cloud Platform リージョンの最新情報」 . Google Cloud ブログ. 2023年7月10日閲覧。
- ^ 「Google関連会社の最新の動きは、6億ドル規模のデータセンターにKCが選定されたことを示唆している」 www.bizjournals.com . 2021年2月12日閲覧。
- ^ 「クウェートに新しいGoogle Cloudリージョンが誕生」 Google Cloudブログ. 2023年7月10日閲覧。
- ^ a b c「アジア太平洋地域における新しいGoogle Cloudリージョンの発表」。Google Cloudブログ。 2023年7月10日閲覧。
- ^ 「メキシコに新しいGoogle Cloudリージョンが開設されました」。Google Cloudブログ。2023年7月10日閲覧。
- ^ 「Google、台南の新データセンター用地を購入」 Taipei Times、2019年9月12日。 2019年12月20日閲覧。
- ^ 「Google、台南にデータセンターを設置へ」 Focus Taiwan、2019年9月11日。 2019年12月20日閲覧。
- ^ 「Google、台湾に2つ目のデータセンターを設置へ」台湾ニュース、2019年9月11日。 2019年12月20日閲覧。
- ^ 「Google、台湾に3番目のデータセンターを建設する計画を確認」台湾ニュース、2020年9月3日。 2020年9月3日閲覧。
- ^ 「アリゾナ州でより持続可能な未来を築くための私たちの取り組み」 Google 2024年3月14日2024年10月5日閲覧。
- ^ 「英国の新データセンターへの10億ドルの投資」 Google 、 2024年1月18日。 2024年1月19日閲覧。
- ^ 「ラテンアメリカの新しいデータセンター」 Google 、 2024年8月29日。 2024年10月5日閲覧。
- ^ 「Google とピエドラの基礎 (comenzó la construcción del centro de datos en Parque de las Ciencias)」 (スペイン語)。 2024 年 8 月 30 日。2024 年10 月 5 日に取得。
- ^「Google、アジア最大のAIデータセンタープロジェクトにインドで150億ドルを投資：報道」The Times of India 2025年7月30日ISSN 0971-8257。
- ^ Varadhan, Sudarshan; Varadhan, Sudarshan (2025年7月30日). 「Google、南インドのデータセンターに60億ドルを投資へ、関係者が語る」ロイター. 2025年8月1日閲覧。
- ^ "「Google スタンフォード ハードウェア」. 1999年2月9日時点のオリジナルよりアーカイブ。2017年3月23日閲覧。
{{cite web}}: CS1 maint: bot: original URL status unknown (link)スタンフォード大学（インターネットアーカイブ提供）。 2006年7月10日閲覧。 - ^ Barroso, LA; Dean, J.; Holzle, U. (2003年3月). 「Web search for a planet: The Google cluster architecture」. IEEE Micro . 23 (2): 22– 28. Bibcode : 2003IMicr..23b..22B . doi : 10.1109/MM.2003.1196112 . ISSN 1937-4143 .
- ^ Merlin, Marc (2013). 「ケーススタディ：数千台のサーバーを古いRed Hatディストリビューションから10年前のDebianベースのディストリビューションにライブアップグレードする」（PDF） . Linux Foundation . 2017年6月9日閲覧。
- ^タウフィク・ジェラシ、アルブレヒト・エンダース (2004). 「ケーススタディ16 — Google」. Eビジネス戦略. ピアソン・エデュケーション. 424ページ. ISBN 978-0-273-68840-2。
- ^ a bコンピュータアーキテクチャ、第5版：定量的アプローチ、ISBN 978-0123838728第6章 6.7「Googleの倉庫規模のコンピュータ」471ページ「UPS機能を各サーバーに付属の標準バッテリーから供給できるように、12ボルト電源1つだけを必要とするマザーボードの設計」
- ^ YouTubeのGoogle の秘密の電源
- ^ Google がかつて秘密だったサーバーを公開、2009 年 4 月 1 日。
- ^ 「Google サステナビリティ」。Googleサステナビリティ。
- ^ 「Analytics Press データセンターの電力使用量の増加（2005～2010年）」。2012年1月11日時点のオリジナルよりアーカイブ。2012年5月22日閲覧。
- ^ Google Surpasses Supercomputer Community, Unnoticed? Archived December 5, 2008, at the Wayback Machine , 2008年5月20日.
- ^ Lam, Cedric F.; Liu, Hong; Koley, Bikash; Zhao, Xiaoxue; Kamalov, Valey; Gill, Vijay (2010)、「光ファイバー通信技術：データセンターネットワーク運用に必要なもの」、Research、vol. 48
- ^ Lam, Cedric F. (2010) 「FTTHの将来展望 - テクノロジーとアーキテクチャ」（PDF）、p.4
- ^ "kumara ASN15169",ピアリングDB
- ^「Urs Holzle」、Speakers、Open Network Summit、2012年5月10日時点のオリジナルよりアーカイブ、 2012年5月22日閲覧。
- ^ a b c惑星のためのウェブ検索：Googleクラスタアーキテクチャ（Luiz André Barroso、Jeffrey Dean、Urs Hölzle）
- ^ 「倉庫サイズのコンピューター」(PDF) 。 2012年6月19日時点のオリジナル(PDF)からアーカイブ。2012年5月22日閲覧。
- ^ Denis Abt 高性能データセンターネットワーク：アーキテクチャ、アルゴリズム、機会
- ^ a b c Fiach Reid (2004). 「ケーススタディ：Google検索エンジン」 . .NETにおけるネットワークプログラミング. Digital Press. pp. 251–253 . ISBN 978-1-55558-315-6。
- ^ a b Rich Miller (2008年3月27日). 「Google Data Center FAQ」 . Data Center Knowledge . 2009年3月13日時点のオリジナルよりアーカイブ。2009年3月15日閲覧。
- ^ Brett Winterford (2010年3月5日). 「発見：Google Australiaの秘密データネットワーク」 . ITNews . 2010年3月20日閲覧。
- ^ Singh, Arjun; Ong, Joon; Agarwal, Amit; Anderson, Glen; Armistead, Ashby; Bannon, Roy; Boving, Seb; Desai, Gaurav; Felderman, Bob; Germano, Paulie; Kanagala, Anand (2015). 「Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google's Datacenter Network」 2015 ACM Conference on Special Interest Group on Data Communication 論文集pp. 183– 197. doi : 10.1145/2785956.2787508 . ISBN 978-1-4503-3542-3. S2CID 2817692 .
- ^ジョン・マークオフ、ソール・ハンセル「隠れた場所に隠れ、Googleはさらなる権力を狙う」ニューヨーク・タイムズ、2006年6月14日。 2008年10月15日閲覧。
- ^ Google「 The Dalles, Oregon Data Center」2011年1月3日閲覧。
- ^ストランド、ジンジャー。「 Google Data Center」ハーパーズ・マガジン、2008年3月号。2008年10月15日閲覧。2012年8月30日アーカイブ、 Wayback Machine
- ^ 「Stora Enso、フィンランドのSumma Millの事業を100万ドルで売却」 Stora Enso 2009年2月12日。 2009年4月13日時点のオリジナルよりアーカイブ。2009年12月2日閲覧。
- ^ "Stooora yllätys: Google ostaa Summan tehtaan" .カウパレティ（フィンランド語）。ヘルシンキ。 2009 年 2 月 12 日。2009年 2 月 14 日のオリジナルからアーカイブ。2009 年2 月 12 日に取得。
- ^ “Google は 200 百万ユーロを投資、ハミナーン” .タロウサノマット（フィンランド語）。ヘルシンキ。 2009 年 2 月 4 日。2009 年3 月 15 日に取得。
- ^ 「ハミナ、フィンランド」 。 2018年4月23日閲覧。
- ^フィンランド – クラウドコンピューティング・データセンターの設置場所として最適な場所。 2013年7月6日アーカイブ、 Wayback Machine。2010年8月4日アクセス。
- ^ロリー・キャロル (2013年10月30日). 「Googleの知られざる秘密：米国沖の浮体式データセンター」 . Theguardian.com . 2018年12月8日閲覧。
- ^ Rich Miller (2009年4月29日). 「Google、データセンター用はしけ船の特許を取得」 . Datacenterknowledge.com . 2018年12月8日閲覧。
- ^ Martin Lamonica (2008年9月8日). 「Google、波力発電浮体式データセンターの特許を取得」 . Cnet.com . 2018年12月8日閲覧。
- ^ 「Googleの船舶ベースデータセンターの特許申請が浮上」 Datacenterdynamics.com 2008年9月7日. 2018年12月8日閲覧。
- ^ 「Googleのはしけの謎が解明：それは「インタラクティブ学習センター」のためだった」「 . Theguardian.com . 2013年11月6日. 2018年12月8日閲覧.
- ^ブランドン・ベイリー（2014年8月1日）「Google、謎の船の売却を確認」サンノゼ・マーキュリー・ニュース。 2015年4月7日閲覧。
- ^クリス・モラン（2014年11月7日）「あのGoogle Bargesはどうなったのか？」 Consumerist誌。 2017年1月15日閲覧。
- ^マーク・レヴェイン (2005).検索エンジンとウェブナビゲーション入門. ピアソン・エデュケーション. p. 73. ISBN 978-0-321-30677-7。
- ^ 「Python Status Update」 . Artima. 2006年1月10日. 2012年2月17日閲覧。
- ^ 「警告」 . Panela . Blog-city. 2011年12月28日時点のオリジナルよりアーカイブ。2012年2月17日閲覧。
- ^ 「Pythonに関する引用」 . Python . 2012年2月17日閲覧。
- ^ 「Google Architecture」 . High Scalability. 2008年11月22日. 2012年2月17日閲覧。
- ^ a b c Fikes, Andrew (2010年7月29日)、「ストレージアーキテクチャと課題」、TechTalk (PDF)
- ^ 「Colossus: Google File System (GFS) の後継」 SysTutorials. 2012年11月29日. 2016年5月10日閲覧。
- ^ Dean, Jeffrey 'Jeff' (2009)、「大規模分散システムの構築からの設計、教訓、アドバイス」、Ladis (基調講演)、コーネル
- ^ Shute, Jeffrey 'Jeff'; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin 'Ben'; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012)「F1 — the Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business」Research , Sigmod , 2017年6月9日時点のオリジナル（プレゼンテーション）からアーカイブ。 2012年9月18日閲覧。
{{citation}}: CS1 maint: location missing publisher (link) - ^ 「Googleの元社員が新しい検索エンジンを開発」ロサンゼルス・タイムズ、2008年7月28日。 2021年9月15日閲覧。
- ^ a b The Register. Google Caffeineが世界中の検索エンジンを揺るがす
- ^ 「Google公式リリースノート」 。 2013年9月28日閲覧。
- ^ a b「Google、カフェイン貯蔵システムを開発中 | TechWeekEurope UK」 Eweekeurope.co.uk、2009年8月18日。2011年11月15日時点のオリジナルよりアーカイブ。2012年2月17日閲覧。
- ^ 「開発者ガイド – プロトコルバッファ – Google Code」 。 2012年2月17日閲覧。
- ^ Chang, Fay; Dean, Jeffrey; Ghemawat, Sanjay; Hsieh, Wilson C.; Wallach, Deborah A.; Burrows, Mike; Chandra, Tushar; Fikes, Andrew; Gruber, Robert E. (2006). 「Bigtable: 構造化データ向け分散ストレージシステム」(PDF)。2025年6月4日時点のオリジナルよりアーカイブ(PDF) 。
- ^ windley on (2008年6月24日). 「Phil Windley's Technometria | Velocity 08: Storage at Scale」 . Windley.com . 2012年2月17日閲覧。
- ^ 「メッセージ制限 – プロトコルバッファ | Google グループ」 。 2012年2月17日閲覧。
- ^ 「WSDM 2009におけるジェフ・ディーンの基調講演」(PDF) 。 2012年2月17日閲覧。
- ^ Daniel Peng、Frank Dabek (2010).分散トランザクションと通知を用いた大規模増分処理. 第9回USENIXオペレーティングシステム設計・実装シンポジウム議事録.
- ^ The Register. Google Percolator – MapReduceの衰退を除けば、グローバル検索は急激に変化
- ^チャンドラー・エヴァンス (2008). 「Google プラットフォーム」. Google Earth の未来. マディソン出版社. 299ページ. ISBN 978-1-4196-8903-1。
- ^クリス・シャーマン (2005). 「How Google Works」. Google Power . McGraw-Hill Professional. pp. 10–11 . ISBN 978-0-07-225787-8。
- ^マイケル・ミラー (2007). 「Googleの仕組み」. Googlepedia . ピアソン・テクノロジー・グループ. pp. 17–18 . ISBN 978-0-7897-3639-0。
- ^ Dean, Jeffrey; Barroso, Luiz André (2013年2月). 「スケールのテール」 Communications of the ACM . 56 (2): 74– 80. doi : 10.1145/2408776.2408794 . ISSN 0001-0782 .
- ^ゲルマン、バートン、ソルタニ、アシュカン（2013年10月30日）。「スノーデン文書によると、NSAは世界中のYahoo、Googleデータセンターへのリンクに侵入している」。ワシントン・ポスト。 2013年11月1日閲覧。
- ^チャーリー・サベージ、クレア・ケイン・ミラー、ニコール・パールロス（2013年10月30日）「NSA、海外のGoogleとYahoo!を盗聴か」ニューヨーク・タイムズ。2017年3月9日閲覧。
- ^ギャラガー、ショーン（2013年10月31日）「NSAのMUSCULARがGoogleとYahoo!のプライベートネットワークを盗聴した経緯」 Ars Technica、コンデナスト。2017年3月9日閲覧。
- ^ミラー、クレア・ケイン（2013年10月31日）「米国の監視に憤るテック大手、防衛力を強化」ニューヨーク・タイムズ。2017年3月9日閲覧。
- ^ Humphries, Matthew (2012年3月27日). 「Googleの最も効率的なデータセンターは95度で稼働」 . geek.com . 2016年6月13日時点のオリジナルよりアーカイブ。 2016年6月13日閲覧。
- ^ Hölzle, Urs (2016年12月6日). 「再生可能エネルギー100%達成に向けて準備が整った。そして、それはまだ始まりに過ぎない」 . The Keyword Google Blog . 2016年12月8日閲覧。
- ^ Statt, Nick (2016年12月6日). 「Googleは気候変動との戦いで大きな勝利を収めた」 . The Verge . Vox Media . 2016年12月8日閲覧。
- ^ Etherington, Darrell (2016年12月7日). 「Googleは2017年までに100%再生可能エネルギーを達成すると発表」 . TechCrunch . AOL . 2016年12月8日閲覧。
- ^ 「NextEra Energy、アイオワ州の原子力発電所再稼働でGoogleと提携」ロイター通信、2025年10月27日。 2025年10月29日閲覧。
さらに読む
- LA Barroso; J. Dean; U. Hölzle (2002年3月～4月). 「惑星を探すウェブ検索：Googleクラスタアーキテクチャ」(PDF) . IEEE Micro . 23 (2): 22– 28. Bibcode : 2003IMicr..23b..22B . doi : 10.1109/MM.2003.1196112 .
- シャンクランド、スティーブン、CNET ニュース「Google がかつて秘密だったサーバーを公開」2014年 7 月 16 日アーカイブ、 Wayback Machineより。2009 年 4 月 1 日。
外部リンク
- Google リサーチ出版物
- 惑星のためのウェブ検索: Google クラスタ アーキテクチャ(Luiz André Barroso、Jeffrey Dean、Urs Hölzle)
