<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 10, 2014 at 1:14 AM, Tom Ritter <span dir="ltr"><<a href="mailto:tom@ritter.vg" target="_blank">tom@ritter.vg</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
As promised, here's a first-pass at a proposal:<br>
<a href="https://github.com/tomrittervg/crypto-usability-study" target="_blank">https://github.com/tomrittervg/crypto-usability-study</a></blockquote><div><br></div><div><br></div><div>Nice, comments -</div><div><br></div>
<div><div>Fingerprint Types</div><div> - Visual and poetry fingerprints seem worth including.</div><div><br></div><div>Comparison Method</div><div> - Business cards can only fit a small amount of text (since most of the space is taken up with other stuff), and don't typically contain high-resolution images.  So I'm not sure that comparing things between screens can be reduced to comparing things on business cards.</div>
<div><br></div><div>Approaches</div><div> - I suggest giving users X seconds to perform a comparison between a pair of values that are either identical or close, then seeing whether they correctly distinguish these cases.  X can be calibrated by performing some preliminary tests, then choosing a number that's likely to produce a variable error rate (i.e. not so low that subjects are always guessing randomly, not so high that they're always getting it right).  This is modeled after "character legibility" studies, e.g.</div>
<div><br></div><div> <a href="http://psychology.wichita.edu/surl/usabilitynews/81/legibility.asp">http://psychology.wichita.edu/surl/usabilitynews/81/legibility.asp</a></div><div><br></div><div> - I don't see a reason to fake-out the user by having her perform extraneous tasks.  Just seems like it would slow things down.</div>
<div><br></div><div>Modulating Speed</div><div> - For the "Spoken Aloud" test, why not just have pairs of subjects compare the fingerprints by speaking to each other?</div><div><br></div><div>Error Rates</div><div>
 - I'm not sure about the '"One Subtle Flaw" case, because the fingerprints have different notions of "tokens" so this will be hard to compare between formats.  Also, it doesn't model a realistic attacker.</div>
<div><br></div><div> - For the computationally-chosen flaw, I think you should just assume an attacker that can consider 2^80 random candidate fingerprints, and choose the closest-matched fingerprint this attacker could find (but of course don't actually do 2^80 hashes, just set 80 bits of the fingerprint equal).</div>
<div><br></div><div><br></div><div>Trevor</div></div><div><br></div></div></div></div>