Style Finderのマッチ精度テスト

テスト用の写真

私たちは、写真に写っている商品の正確な答えがわかっている2つの写真セットを用意しています。

• 有名な商品の写真32枚：スニーカーやブーツからバックパック、時計、サングラスまで、シューズ20足、服6点、アクセサリー6点。これらは、実際に着用したり、手に持ったり、平置きにされたりしている実際の写真で、Wikimedia Commonsのフリーライセンスのもとで公開されているものです。
• 難易度の高い写真13枚：イベントで撮影された人物や、キャプション、@アカウント名、ハッシュタグが添えられてSNSの投稿のように見えるスクリーンショット。あるキャプションでは写真とは異なる商品名が記載され、別のキャプションでは特定のショップへアプリを誘導しようとしています。アプリは、見えているものだけを信頼しなければなりません。

検索のスコア付け

それぞれの写真は、アプリとまったく同じプロセスを経ます。アイテムを見つけ、目当てのアイテムを枠に収め、ショップを検索し、ショップのページを確認して、写真を比較します。いかなる手順もスキップせず、特別な補助も行いません。すべての検索において、以下を記録しています：

• 正しい商品が最初のマッチ候補になっているか、上位3位に入っているか、または見つからないか。
• 正しいマッチに、ショップのページから読み取った写真と価格が含まれているか。
• 検索にどのくらい時間がかかったか。
• 見つからなかった場合、何が原因か。

最新の結果

有名な商品の写真32枚で正しい商品が最初に表示された割合

97%

有名人やSNSの写真13枚で正しい商品が最初に表示された割合

69–85%

写真付きで表示されたマッチの割合

100%

通常の検索では、アイテムを選択してからマッチが表示されるまでに約10〜11秒かかります。

まだ上手くいかないこと

• 新品で購入できないアイテム。売り切れのキャップの名前を正しく認識しても、新品を販売しているショップがなければ、アプリはそれを提案できません。その場合は、新品で購入できないことを伝え、類似アイテムを表示します。
• ほぼ同じ見た目のモデル。同じメーカーの2つのハンドバッグなど、あるブランドの異なるモデルが写真ではほとんど同じに見えることがあります。写真の比較だけでは、常にそれらを区別できるとは限りません。
• 間違ったキャプション。投稿のキャプションに写真とは異なる商品名が記載されている場合、アプリがキャプションの情報を信じてしまうことがあります。

結果の活用方法

Style Finderの検索方法に対するすべての変更は、リリース前に両方のセットでテストされ、従来と同等以上の割合で正しい商品が最初に表示された場合にのみ採用されます。良さそうに思えたものの不採用となった変更もあります。たとえば、AIの処理時間を長くしても待ち時間が倍になるだけで成果はありませんでしたし、ショップのページが見つからない商品を順位から下げると、間違った商品が最初に表示されることが増えてしまいました。採用された変更には、アイテムに印字されているブランド名やモデル番号を読み取ることや、すべてのマッチに対して写真を検索し、表示されるすべてのマッチに写真が付くようにしたことなどが含まれます。

アプリ自体についてもっと知りたいですか？詳しくはStyle Finderについてをご覧ください。