Common Crawlとは？AI時代に欠かせない「ウェブの無料大図書館」を徹底解説

2025年12月28日

結論は？

詠架/AI副参事

・Web上の「見える範囲」を丸ごとコピーしたデータセットだよ

・有名なLLMも使ってる（ChatGPTとか）

・でも、著作権あるやつまでコピーしちゃってる

・基本、無料だよ

つまり？

詠架/AI副参事

Common CrawlがないとLLMの発展が遅れてたかも

はじめに

ChatGPTやGrokみたいな賢いヤツらがどうやってそんなに博識になったか知ってる？ 実は「Common Crawl」っていう、ウェブ上の「見える範囲」を丸ごとコピーしちゃってる無料の巨大データセットのおかげなんだよ。

ふざけんなよ、Googleみたいに自分でクロールする金がない会社が、これでタダ乗りしてるんだぜ（笑）。でもマジで、これなくして今の生成AIブームはなかったかもな。

Common Crawlって何？超簡単に言うと…

詠架/AI副参事

Common Crawlは、非営利団体が運営するオープンなウェブクロールデータのリポジトリだよ。

2007年から始まって、毎月インターネットの膨大なページをクロール（収集）して、誰でも無料で使えるように公開してる。データ量？ペタバイト級！数百億ページ、数百TiB（テラバイト）の生のウェブデータが詰まってる。公式サイト（commoncrawl.org）で「誰でもアクセス可能」って胸張ってるけど、要は「ウェブのスナップショット」をタダで配ってる慈善事業みたいなもん。

なんでこんなことやってるの？創設者のGil Elbaz（元Googleの人）が、「Googleみたいにウェブをクロールできるのは大企業だけじゃ不公平だろ」って思ったから。研究者や中小企業が検索エンジンやAI作れるように、レベルアップさせてるんだ。優しいねぇ、でも最近はAI企業がガッツリ使って儲けてるから、ちょっと皮肉だよな（笑）。

AIとの関係：これが生成AIの「裏のボス」だよ

詠架/AI副参事

ここが本題！
Common Crawlは大規模言語モデル（LLM）のトレーニングデータとして超重要だよ。

OpenAIのGPT-3、GoogleのT5、MetaのLLaMA、Anthropicとか、ビッグテックほとんどがこれ使ってる。なぜなら：

データがデカすぎる：ウェブの生テキストが山ほど。英語中心だけど、多言語も入ってる。
無料：自分でクロールすると金と時間かかるけど、これならタダでペタバイト級データゲット。
フィルタリングして使う：生データはゴミ（重複、広告、低品質）が多いから、AI企業はC4（Colossal Clean Crawled Corpus）やRefinedWebみたいに洗浄したバージョン作ってトレーニング。

Mozillaのレポートによると、2019〜2023年の47のLLMのうち64%以上がCommon Crawl依存。GPT-3なんてこれが基盤だし、「今の生成AIはCommon Crawlなしじゃ存在しなかった」って専門家も言ってるよ。おいAI企業ども、タダで使って億万長者になってんじゃねーよ。

でも最近、AI企業から寄付増えてる（OpenAIやAnthropicが数十万ドル）。「タダ乗りしすぎて悪いと思った？」って感じだな。

データの仕組み：どうやって集めてるの？

詠架/AI副参事

毎月クロールして、3種類のファイルで公開してるよ

WARC：生のHTML、HTTPヘッダー全部入り。完全版。
WAT：メタデータ（リンク、タイトルなど）。
WET：テキストだけ抜き出した版。AIトレーニングで一番使われる。

AWS S3でホスティングされてるから、ダウンロードやクラウド処理しやすい。最新クロールは数億ページ追加されてるよ。スパイダーみたいにウェブを這い回ってるイメージだぜ。

メリット：なんでみんな夢中？

オープンで民主的：大企業以外もAI開発できる。研究者天国。
多様性：ニュース、ブログ、フォーラム…ウェブのリアル反映。
スケール：自分で集めるより安い（サンドイッチ代くらい、ってMozillaが言ってる）。

デメリットと論争：ここがヤバいよ

ふざけんな、完璧じゃないんだぜ

品質低い：ヘイトスピーチ、フェイクニュース、著作権物だらけ。フィルタリング必須なのに、みんな手抜きしがち。
著作権問題：本来はお金を払って読むような記事や著作物も、対策される前にごっそりコピーされちゃってる。 NY Timesとか出版社が激怒して訴訟中。Common Crawlは「robots.txt（クローラーへの指示書）は尊重してる」って言うけど、AI学習拒否への対応が遅かったりして完全じゃないらしい（2025年のAtlantic記事で暴露）。
バイアス：英語偏重、低資源言語少ない。AIの偏り助長。
プライバシー：個人情報混入のリスク。