戻る

このページは以下ＵＲＬのキャッシュです
http://matometanews.com/archives/1780431.html

まとめたニュース : グーグル社員「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」

おすすめサイトの最新記事


2015年09月18日

グーグル社員「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」

アプリ、ネットサービス│20:02│コメント(11)
1 ： 海江田三郎 ★ ：2015/09/18(金) 09:44:26.71 ID:???.net
http://gigazine.net/news/20150918-google-2billion-code/


Googleのエンジニアリング・マネージャーであるレイチェル・ポートヴィンさんが、「The Motivation for a Monolithic Codebase」と題した講演の中で、Googleのシステムが86TB(テラバイト)でできていることを明かしました。

講演ムービーはコレ。話は5つのテーマに分けて行われていて、Googleのリポジトリについての話は1番目、3分過ぎから始まります。

2015年1月時点で、総ファイル数は10億、ソースファイルの数は900万、コードは20億行あり、3500万回のコミットがあって、内容は86TBあるとのこと。そして、営業日1日に対してのコミット回数は4万5000回。

累積コミット数のグラフはこんな感じ。左側の回数目盛りは40までですが、それぞれ1目盛りが1000万回分に相当。2000年1月1日からの数字ですが、コミットが1000万回を越えたのは2012年ごろのこと。回数はぐんぐん増えていて、2015年1月時点で3500万回まで増えています。

Googleで働く「Googler」は2万5000人、世界に12あるオフィスで働いています。1日あたりのコミット回数は4万5000回とありましたが、そのうち1万5000回が人間の手によるもの、3万回が自動化されたシステムによるもの。ファイルリードリクエストは1日に10億回で、ピーク時には80万QPS(秒間クエリ処理数)に到達するとのこと。

これが1週間のコミット数を、人の手によるものと全体とを分けてグラフ化したもの。単位は1000回なので、だいたい人の手によるコミットは週間7万5000回ほどLinuxのカーネルが4万ファイルで1500万行あるのに対して、Googleのリポジトリは25万ファイル・1500万行が人の手によって毎週変更されています。累計のサイズは900万ファイルで20億行にもなります。

Windowsの公式Facebookページによると、Windows XPは4500万行のコードでできていたとのこと数字だけを単純に比較すると、Googleは3週間でWindows XP全体に相当する量のリポジトリを変更している、ということになります。

転載元スレッド：http://anago.2ch.sc/test/read.cgi/bizplus/1442537066/
【IT】グーグルエンジニアリング・マネージャー「Googleのシステムは10億個のファイル・20億行のコード・合計86TBでできている」





2 ： 名刺は切らしておりまして ：2015/09/18(金) 09:46:19.22 ID:rIeJ3HhX.net
要約　私の戦闘力は530000です


3 ： 名刺は切らしておりまして ：2015/09/18(金) 09:46:59.60 ID:tzxk9RVc.net
そんなボリュームあるのにさくさく動くのか


4 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:47:12.05 ID:pr+8YDkK.net
86TB
え、そんなもんなのか？
嘘だろ


5 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:49:07.86 ID:2lIGWHjP.net
>>4
プログラムだけでってことだろ
データはもっとあるやろ



6 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:53:05.68 ID:CnL4KkVi.net
あの検索の結果を人の手でやってたなんて、凄いよな


7 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:53:31.05 ID:S0O+9n5b.net
オラクル居そう


8 ： 名刺は切らしておりまして ：2015/09/18(金) 09:53:53.07 ID:3gjg4199.net
思ったより規模が小さいな


9 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 09:54:30.61 ID:D/aNQ0de.net
20億行/10億ファイル
1ファイルあたり2行のファイル


23 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:35.59 ID:+G/4v29V.net
>>9
＞ ソースファイルの数は900万


24 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:33:42.05 ID:fzqNTgXU.net
>>9
ソースファイルは900万だよ



11 ： 名刺は切らしておりまして ：2015/09/18(金) 10:02:45.65 ID:nZbVlcbM.net
すげぇちょっと想像できねぇ


12 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:06:19.11 ID:FBjMuWdR.net
システムがでかくなるのはスパゲティバカだらけの証拠

「これだけの多様なものがほんのこれだけのもので動いています」「すげー、さすがー」だろ普通


17 ： 名刺は切らしておりまして ：2015/09/18(金) 10:13:51.51 ID:PQ9kjkod.net
>>12
馬鹿は口挟まなくていいよ。


18 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:17:57.35 ID:jO8YsKoO.net
>>12
似たような処理を何度も繰り返すような、スパゲティコードの結果のファイルサイズではないと思うけど
そんなレベルのものはgoogleじゃコミットされないはず


19 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:26:27.61 ID:+G/4v29V.net
>>12
システム全体がこの程度で済んでるんだから、どう考えても小さいだろ


21 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:30:15.00 ID:z99E705i.net
>>18
こんだけデカイシステムだと似たようなコードが入り込む余地は十分あると思うけどな。
逆にスピード重視（ちょっと実装して試してダメならすぐ捨てる）っぽいから、
共通化に力を入れると効率を落とすと思う。



13 ： 名刺は切らしておりまして ：2015/09/18(金) 10:06:38.21 ID:7U+PYOpn.net
小さな変更じっとpush


14 ： 名刺は切らしておりまして ：2015/09/18(金) 10:10:54.74 ID:ETSKi6ed.net
Googleの人が書いたソースはコメントがしっかり入ってるからメンテはし易いんだろうな


15 ： 名刺は切らしておりまして ：2015/09/18(金) 10:11:19.56 ID:6OdINof5.net
恐ろしいコミット回数
自動運転で対抗するのは大変だな


20 ： 名刺は切らしておりまして ：2015/09/18(金) 10:30:02.64 ID:eyXCLY0H.net
検索だけで？
それとも他のも全部入ってんの？


22 ： 名刺は切らしておりまして ：2015/09/18(金) 10:31:21.70 ID:eyXCLY0H.net
スパゲティ回避のためにオブジェクト指向やリファクタリングが出来た。
ってもそれももう古いのかもしれんけど


25 ： 名刺は切らしておりまして ：2015/09/18(金) 10:34:19.13 ID:eyXCLY0H.net
ヤホーなんてその昔ウェブサーファーなる職種があって
文字通り手でサイト見つけてDBに登録してたらしいからな。
俺っちサーファー、息抜きにはスタバ外せねえっす、みたいな
雑誌のインタビュー見た記憶がある。


26 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:40:09.24 ID:bmIJvuj+.net
でか過ぎる。640KBのメモリがあれば十分なはずだ


27 ： 名刺は切らしておりまして ：2015/09/18(金) 10:41:15.62 ID:PQ9kjkod.net
>>26
寝言は寝てから言えよ


30 ： 名刺は切らしておりまして ：2015/09/18(金) 10:45:01.96 ID:6H7hsCvu.net
>>26
EMSメモリ買えよ


36 ： 名刺は切らしておりまして ：2015/09/18(金) 11:00:04.11 ID:57C0p1um.net
>>30
いや、バンク切り替えだろ


37 ： 名刺は切らしておりまして ：2015/09/18(金) 11:04:57.02 ID:ai8YHHxa.net
>>36
EMSメモリってバンク切り替えだぞ。知ったか乙。


46 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 12:47:42.00 ID:dwCAcL5N.net
>>26
背中に挿すメモリー　買うしかないな
たしか2メガと4メガあったはす

あとお金あるなら　コプロも



28 ： 名刺は切らしておりまして ：2015/09/18(金) 10:44:17.88 ID:u93I78dz.net
半分はやさしさだろ


29 ： 名刺は切らしておりまして ：2015/09/18(金) 10:44:35.46 ID:eyXCLY0H.net
ソースの言語は？Python?


31 ： 名刺は切らしておりまして ：2015/09/18(金) 10:48:31.23 ID:eyXCLY0H.net
DB は何使ってんだろ？　Postgres ？


34 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:54:15.25 ID:AZB2t80V.net
>>31
RDMSなんか使ってない。自前で開発したのを使ってるよ。
Google が NoSQLの基礎を築いた



32 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 10:50:13.04 ID:AZB2t80V.net
80兆バイト÷20億行＝4万バイト
一行辺り40KBって、くっそ長いコードだなって思ったら総ファイル容量か。
バイナリも含むリポジトリ全体ってことね。


35 ： 名刺は切らしておりまして ：2015/09/18(金) 10:59:24.47 ID:57C0p1um.net
そんな巨大ソフトちゃんと動かすなんて神の領域


38 ： 名刺は切らしておりまして ：2015/09/18(金) 11:08:06.67 ID:rLBwHRf+.net
いったい何をそんなに書き換えてるんだろう？


39 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:14:43.14 ID:5R0wVoXj.net
毎時4300万本のカセットテープにバックアップ

ピーギョーーー


40 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:15:45.15 ID:2s3SAsWo.net
すーなのあーらーしーにー
かくさーれたー
ぐーぐるほんしゃにすんでいる


41 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 11:16:56.77 ID:EYMZuZyJ.net
コードどころか
関数そのものがあっちの世界だからなあ、グーグルの基幹システムは


49 ： 名刺は切らしておりまして ：2015/09/18(金) 13:10:31.93 ID:PPQM66so.net
>>41
インド人が得意な、超絶再帰コードは怖い。行数は少ないんだけどループから抜ける条件がよくわからなかったりする。



42 ： 名刺は切らしておりまして ：2015/09/18(金) 11:32:17.54 ID:VnCphEwI.net
この場合のコミットって何を意味してるんだ？
書き換え？


43 ： 名刺は切らしておりまして ：2015/09/18(金) 11:58:29.57 ID:y90C/Sfk.net
ライザップも真っ青


44 ： 名刺は切らしておりまして[sage] ：2015/09/18(金) 12:14:11.61 ID:CnL4KkVi.net
プログラミング自体が自動化生成されてない時点で時代遅れ


45 ： 名刺は切らしておりまして ：2015/09/18(金) 12:30:09.07 ID:WstQkgLt.net
>>44
馬鹿の負け惜しみみたいなレスだな


元祖オワタあんてな復活
http://news.owata-net.com/
気になるAmazonの本

アプリ、ネットサービス│20:02
Google　

コメントする コメントを見る(11) アンテナページへ

おすすめサイトの最新記事

最近の人気記事

全ランキングを見る
ブログパーツ


トラックバックURL

この記事へのコメント (11)

1.  名前 名無しさん＠まとめたニュース   2015年09月18日 20:30 ID:RSV3s.iP0
>>42
バージョン管理ソフトだろ
2.  名前 名無しさん＠まとめたニュース   2015年09月18日 20:34 ID:6hloBqMu0
20億行とか想像できません
3.  名前 名無しさん＠まとめたニュース   2015年09月18日 20:42 ID:Iu8Tg9U40
>>12
特盛りスパゲティが正確に動いてるのがすげーよ
4.  名前 名無しさん＠まとめたニュース   2015年09月18日 20:45 ID:0yTJ4PWa0
東京ドーム１００杯分ぐらいピンとこない
5.  名前 名無しさん＠まとめたニュース   2015年09月18日 20:54 ID:8aksciTU0
よくもそんな全体像を把握できるもんだな
6.  名前 名無しさん＠まとめたニュース   2015年09月18日 21:15 ID:nV9yK7ws0
何のこっちゃかさっぱりわからん
イメージもできん
やっぱ、文系は駄目だな
7.  名前 名無しさん＠まとめたニュース   2015年09月18日 21:29 ID:3.M0iOGr0
恐る恐るだが、コミット数はデータベースのであって、プログラミングじゃあないんだよね
8.  名前 名無しさん＠まとめたニュース   2015年09月18日 21:49 ID:Rkk5YlPR0
コミットてライザップかよ
9.  名前 名無しさん＠まとめたニュース   2015年09月18日 22:19 ID:mjZwHnaj0
多分全体像を掴んでる奴は誰もいないだろうなｗ
10.  名前 名無しさん＠まとめたニュース   2015年09月18日 22:35 ID:JFRx4WhN0
あと20年も経てば
更に100万倍くらいの量になってそう
11.  名前 名無しさん＠まとめたニュース   2015年09月18日 23:36 ID:TmemOzoz0
米7
そんなわけないじゃん、プログラムのコミットに決まってる。逆にデータコミットが１日数千万ですむと思うか？


コメントする

名前
 
  絵文字
 
 
コメントを投稿してくれる方へ
いくつかのエロい単語やURL等は使えません。
下記の投稿は無断で削除する場合があります。予めご了承ください。
・荒らし行為（宣伝行為含む）
・犯罪的なコメント
・差別的なコメント
・過激な下ネタ
他ブログのネタ満載　アンテナページへ


先月の人気記事
昨日ちょっとだけ読まれた記事

おーぷん2ちゃんねる


服を買いに行く服がない人におすすめ



ゲーム



腕時計


シューズ


ノートPC



デジタルカメラ



服を買いに行く服がない人におすすめ



ゲーム



腕時計
お世話になっているサイト

全ランキング
アクセスランキング
リンク

★アンテナサイト★



★2chまとめ★



★ニュース、動画、ブログ★



★記事紹介★


このブログについて
まとめたニュースは、リンクフリーです。
ご意見、ご要望などありましたらこちらからご連絡ください。
（2013年11月からメアドが変わっています）

相互リンクのご依頼は大歓迎ですが、返信しなかった場合でも忘れた頃にリンクを貼ることがあります。めんどくさがりなだけなので気にしないでください。

まとめたニュースの掲載記事は、管理人の記述による記事と、２ちゃんねる掲示板からの転載記事があります。
掲載されている文章・画像に関して何か問題があればご連絡下さい。
確認後、適切な対処を取らせていただきます。


Twitterにも投稿してます。
http://twitter.com/matometa
気が向いたらフォローしてね☆