Common Crawl je nezisková organizace a stejnojmenný projekt, který vytváří a spravuje otevřený repozitář webových dat (tzv. webový korpus). Cílem projektu je usnadnit přístup k informacím z celého internetu tím, že poskytuje volně přístupné archivy webových stránek, které by jinak byly dostupné pouze velkým technologickým společnostem provozujícím vlastní vyhledávače.
Dataset Common Crawl a datasety odvozené jsou využívané pro trénování velkých jazykových modelů (LLM), jako jsou GPT-3 od společnosti OpenAI, T5 od Google nebo Fasttext od společnosti Meta Platforms.
Historie a organizace
Organizaci Common Crawl založil v roce 2007 Gil Elbaz. Elbaz, který dříve prodal svou společnost Applied Semantics firmě Google (jejíž technologie se stala základem pro AdSense).
Organizace funguje jako nezisková nadace se statutem 501(c)(3) se sídlem v Los Angeles.
Způsob sběru dat
Common Crawl využívá vlastní webový crawler (bot), který pravidelně prochází internet, stahuje HTML stránky, extrahuje metadata a ukládá obsah. Moderní verze crawleru je postavena na technologii Apache Nutch. Archiv je od roku 2012 hostovaný na platformě AWS v programu pro veřejná data (public datasets).
Nové snapshoty (snímky) webu jsou vydávány jednou měsíčně. Každý měsíční archiv obsahuje data z miliard webových stránek. Archiv z Dubna 2021 obsahoval přes 3 miliardy stránek a dosahoval velikosti přibližně 320 TB nekomprimovaných dat. Bot respektuje standard Robots.txt a značku nofollow. Identifikuje se jako User-agent CCBot. Pokud majitel webu zakáže přístup botům, Common Crawl daný web nearchivuje.
Datová struktura a formáty
Data nejsou ukládána jako prostý text, ale ve standardizovaných formátech pro webovou archivaci, což umožňuje rychlejší strojové zpracování. Archiv je rozdělen do tří hlavních typů souborů.
WARC (Web ARChive)
Surový formát, který obsahuje kompletní HTTP odpověď tak, jak byla přijata ze serveru. formát WARC zahrnuje hlavičky požadavku (request headers), hlavičky odpovědi (response headers) a samotné tělo odpovědi (payload – obvykle HTML kód, ale i obrázky nebo PDF). Tento formát je definován mezinárodní organizací pro normalizaci a normou ISO 28500.
WAT (Web Archive Transformation)
Formáty WAT obsahuje vypočítaná metadata odvozená z WARC souborů, uložená ve formátu JSON. Tato metadata jsou generovány pro tři typy záznamu: metadata, požadavek (request) a odpověď (response). V případě HTML stránek obsahuje WAT záznam HTTP hlavičky, metatagy a extrahované odkazy, což umožňuje rychlejší analýzu struktury webu, bez nutnosti zpracovávání plného textového obsahu. Soubory WAT jsou pro větší úsporu minifikovány a jsou odstraněny nadbytečné bílé znaky. WAT soubory mají 5% až 20% velikosti původního WARC souboru.
WET (Web Extracted Text)
Formát WET obsahuje pouze extrahovaný text z webových stránek, zbavený HTML značek, skriptů a stylů. Soubory WET jsou primárním zdrojem pro trénování jazykových modelů a odvozování filtrovaných datasetů, protože poskytují textovou složku webu v kompaktní formě.
Význam pro umělou inteligenci a NLP
S rozvojem metod hlubokého učení (deep learning) a architektury Transformer po roce 2017 vzrostla potřeba rozsáhlých textových datasetů.
Odvozené datasety
Surový Common Crawl (Raw Data) obsahuje velké množství šumu (navigační menu, patičky, reklamy), společnosti vytvářející velké jazykové modely proto vytvořili několik očištěných verzí. Formát WET je o tyto data očištěněný ale obsahuje neanglická slova, vulgarity, spamy, nekompletní text a další prvky které jsou pro některé účely potřeba odflitrovat.
- C4 (Colossal Clean Crawled Corpus) byl vytvořen společností Google pro model T5. Data prochází přísným filtrováním – jsou odstraněny texty s vulgárními slovy, duplicitní pasáže a stránky, které nejsou v angličtině.
- OSCAR (Open Super-large Crawled Aggregated coRpus) se zaměřuje se na vícejazyčnost. Data jsou tříděna podle jazyka pomocí heuristických algoritmů které odfiltrují nekvalitní články a zdroj dat, což umožňuje trénování modelů v méně rozšířených jazycích na kvalitnějších datech, včetně češtiny.
- Dataset The Pile vytvořený skupinou EleutherAI, který kombinuje Common Crawl (a jejich filtrovanou verzi Pile-CC) s dalšími zdroji (GitHub, PubMed, Wikipedia, ArXiv) pro zvýšení odborné úrovně textů.
Využití v jazykových modelech
Některé moderní LLM (Velké jazykové modely) využívají Common Crawl, nebo datasety odvozené, jako podstatnou část svých trénovacích dat.
- Část váženého trénovacího datasetu modelu GPT-3 pochází z filtrované verze Common Crawl, která dále prošla filtrací, deduplikací a kombinováním z dalších kvalitních zdrojů.
- Model T5 (Text-to-Text Transfer Transformer) od společnosti Meta byl trénován na datasetu C4 (Colossal Clean Crawled Corpus), který je přímo odvozen z dat Common Crawl.
- Při vytváření Fasttext od společnosti Google byly použité data extrahované z Common Crawl na předtrénování slovních vektorů pro 157 jazyků.
Kritika a limitace
Přestože je Common Crawl využívaným zdrojem pro akademickou i komerční sféru, čelí kritice v několika oblastech, které jsou předmětem aktuálního etického a technického výzkumu v oblasti využití velkých jazykových modelů. Angličtina tvoří dominantní část celého datasetu C4, z důvodu cílené filtrace během vytváření datasetu byly ostatní jazyky z původních dat vyfiltrovány. Výzkum ukázal, že u low-resource jazyků obsahuje Common Crawl značné množství chybného textu nebo strojových překladů, což může degradovat výkon modelů trénovaných pro tyto jazyky.
Autorská práva
S rozvojem generativní umělé inteligence se vedou právní spory o to, zda je trénování modelů na datech z Common Crawl v souladu s autorským právem (v USA často argumentováno konceptem Fair Use). Někteří autoři a vydavatelé kritizují, že jejich obsah byl použit bez svolení a bez kompenzace. V reakci na to začaly některé velké mediální domy, jako například The New York Times, blokovat crawler CCBot pomocí souboru robots.txt, aby zabránily zahrnutí svého obsahu do budoucích datasetů. Organizace Common Crawl se k tomuto vyjádřila a všechna obvinění o porušování autorských zákonů popřela.