Facebookのデータ事業の一覧

Facebookの上場により、同社のビッグデータモデルはますます注目を集めています。オレゴン州プリンビルに新しく建設された Facebook データセンターは、世界で最もエネルギー効率の高いデータセンターとして知られています。 Facebookのデータビジネスの具体的な特徴は何ですか？ここに簡単な目録があります。

データ収集

タイムライン

2011年12月に公開されたタイムラインは、主に「プロフィール」の調整が行われました。 Facebook プロフィールは個人のファイルや情報に相当し、簡単に言えば個人のホームページです。新しい個人プロフィールは、以前のバージョンよりも視覚的にインパクトがあります。 Facebook は新しいタイムライン インターフェースを開始しました。これは、ステータス、写真、ビデオなど、Facebook 上で個人が投稿した情報を整理し、Facebook 上の自伝のように、より構造化された方法で表示します。

いいねボタン

この機能により、ユーザーはお気に入りのページをマークして Facebook の検索結果に含めることができる。これは、Google がページ間のリンクを使用して検索ランキングを決定する方法に似ている。 Facebookは「ユーザーが『いいね！』ボタンをクリックする限り、Open Graphプロトコルをサポートするすべてのウェブサイトが検索エンジンに表示される」と述べた。 Facebook は Open Graph プロトコルを使用して検索エンジンのインデックス範囲をさらに拡大し、Google に脅威を与えることになります。

データストレージ

メムキャッシュ

これは、Facebook が Web サーバーと MySQL サーバー間のキャッシュ レイヤーとして使用する分散メモリ キャッシュ システムです (データベース アクセスが比較的遅いため)。 Facebook は長年にわたり、ネットワーク スタックの最適化など、Memcached とその周辺ソフトウェアに多くの改良を加えてきました。 Facebook では、数千の Memcached サーバーに常時数十 TB のデータがキャッシュされています。これは世界最大の Memcached サーバー クラスターかもしれません。

干し草の山

Haystack は Facebook の高性能画像ストレージ システムですが、厳密に言えば写真の保存に限定されません。アップロードされた写真は 200 億枚以上管理する必要があり、各写真は 4 つの異なる解像度で保存されるため、写真の数は 800 億枚以上になります。何億枚もの写真を処理できる必要があるだけでなく、パフォーマンスも重要です。 Facebook は CDN 上の写真を除いて 1 秒あたり約 120 万枚の写真を処理しており、これは驚異的な数字です。

カサンドラ

Cassandra は、単一障害点を回避する分散ストレージ システムです。これは NoSQL 運動の代表的な例であり、オープンソース化されています。それは Apache プロジェクトにもなりました。 Facebook は受信トレイの検索にこれを使用しており、Facebook 以外の他のサイトでもこれを使用しています。

データ分析

Hadoop アーキテクチャ

Hadoop は、現在、分散/並列コンピューティング用の最も人気のあるオープンソース ツールです。これはストレージ用の分散ファイルシステムであるだけでなく、多数のクラスターコンピュータを構築して大規模なデータセットの分散ストレージやアーカイブを実現するためにも使用できます。 Facebook は Hadoop の熱心なユーザーであり、ソースコードへの貢献者でもあります。 Facebook は、現在 Apache の Hadoop サブプロジェクトに含まれている 2 つの重要な Hadoop コンポーネント、Hive と Thrift も提供しています。

ハイブ

Hive は Facebook から生まれたもので、Hadoop に対して SQL クエリを実行できるため、プログラマー以外の人でも簡単に使用できます。 Hive は Hadoop をベースにしたデータ ウェアハウス ツールです。構造化データ ファイルをデータベース テーブルにマップし、完全な SQL クエリ機能を提供できます。 SQL ステートメントを MapReduce タスクに変換できます。

動物園の飼育係、倹約家

Hadoop のサブプロジェクトには、Google Chubby に似た機能を提供する Zookeeper 分散ロックも含まれます。 Thrift は、PHP や Ruby などの複数の言語をサポートする Hadoop のクロス言語インターフェースです。

ビッグパイプ

BigPipe は、Facebook が開発した動的 Web ページ処理システムです。最適なパフォーマンスを実現するために、Facebook は各 Web ページをチャンク (「ページレット」と呼ばれる) で処理するためにこれを使用します。たとえば、チャット ウィンドウやニュース フィードなどはチャンクで送信されます。これらのページレットは並行して動作できるため、パフォーマンスが向上するだけでなく、一部のページレットが失敗したり中断されたりしても、ユーザーの通常のアクセスに影響はありません。