富士通は2011年2月1日、プライマリで利用するブロック・ストレージをインラインでリアルタイムに重複排除する技術を開発したと発表した。仕組みは、ブルーム・フィルタを用いて、重複判定だけでなくデータの格納場所も検索する、というもの。既存手法とは異なり、ソフトウエアだけで処理できるほか、データ増加時にもメモリー消費量が増えない。数年以内の実用化を目指す。
一般に、ブルーム・フィルタを使うと、対象データが「保存されていない」か「保存されている可能性がある」かの2つの値を、高速に返す。このままでは重複排除の用途には向かない。これに対して富士通では、重複の判定に加えて、データが格納されている場所を同様の手順で検索できるようにした。実際に保存データと突き合わせることで、保存されているかどうかを確実に知ることができる。
新技術によるメリットは、アクセラレータなどのハードウエアを用いることなくソフトウエアだけで高速に処理できる点と、データ量が増加しても重複判定のためのメモリー消費量が増えない点である。これに対して、データのハッシュ値を比較する既存手法には、データ量の増加に合わせてハッシュ値データベースが肥大化し、メモリー使用量が増加するという問題があった。
現状、重複排除ストレージの多くは、データ・バックアップ用途のNAS（ファイル・サーバー）である。今回富士通が開発した技術によって実現できる、プライマリ用途で、なおかつブロック・データ単位で重複を排除するストレージは、少ない。あっても、既存の手法を用い、ハードウエア・アクセラレータを用いたものとなっている。
