コンピュータサイエンスにおいて、SimHashは2つの集合の類似性を迅速に推定する手法です。このアルゴリズムは、 Googleクローラーがほぼ重複したページを見つけるために使用されています。これはMoses Charikarによって開発されました。2021年、Googleは新たに開発したFLoC（Federated Learning of Cohorts）システムでもこのアルゴリズムを使用する意向を発表しました。[ 1 ]
評価とベンチマーク
Googleは2006年に[ 2 ]、 MinhashとSimhash [ 3 ]アルゴリズムの性能を比較する大規模な評価を実施しました。2007年には、Simhashをウェブクローリングの重複検出に使用し[ 4 ]、MinhashとLSHをGoogleニュースのパーソナライゼーションに使用していると報告しました[ 5 ] 。
参照
参考文献
- ^ Cyphers, Bennett (2021年3月3日). 「GoogleのFLoCはひどいアイデアだ」 .電子フロンティア財団. 2021年4月13日閲覧。
- ^ Henzinger, Monika (2006)、「類似ウェブページの検出：大規模アルゴリズム評価」、情報検索研究開発に関する第29回国際ACM SIGIR会議議事録、p. 284、doi : 10.1145/1148170.1148222、ISBN 978-1595933690、S2CID 207160068。
- ^ Charikar, Moses S. (2002)、「丸めアルゴリズムによる類似度推定手法」、第34回ACMコンピューティング理論シンポジウム論文集、pp. 380– 388、doi : 10.1145/509907.509965、ISBN 978-1581134957、S2CID 4229473。
- ^ Gurmeet Singh, Manku; Jain, Arvind; Das Sarma, Anish (2007)、「ウェブクロールにおけるニアデュプリケートの検出」、第16回国際ワールドワイドウェブ会議論文集(PDF)、p. 141、doi : 10.1145/1242572.1242592、ISBN 9781595936547。
- ^ Das, Abhinandan S.; Datar, Mayur; Garg, Ashutosh; Rajaram, Shyam; et al. (2007)、「Googleニュースパーソナライゼーション：スケーラブルなオンライン協調フィルタリング」、第16回国際ワールドワイドウェブ会議論文集、p. 271、doi : 10.1145/1242572.1242610、ISBN 9781595936547、S2CID 207163129。