<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:Courier;
        panose-1:2 0 5 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:DengXian;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@DengXian";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">Hi Folks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Is there any interest in starting an effort which will explore and ultimately
</span><span style="font-size:11.0pt;color:black">define a process for evaluating geoscience information retrieval systems?  </span><span style="font-size:11.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">The following provides a detailed description of the problem spaceā€¦</span><span style="font-size:11.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">    <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">Evaluation is a central aspect in the research and development of information retrieval systems. In academia the quantitative evaluation of such systems is mostly known under the term Cranfield
 paradigm. This research method has been established for more than 25 years in international evaluation campaigns such as the Text Retrieval Conference (TREC) or the Conference and Labs of the Evaluation Forum (CLEF). Meanwhile industrial research has taken
 a completely different approach. Many companies are able to access a large number of users and their interactions, which can be recorded and evaluated. These infrastructures allow alternative evaluations like large-scale A/B experiments or other online methods.
 In the last years different approaches to go beyond TREC-style evaluations emerged to close the gap and to bring together academic and industrial evaluation.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        The WG would want to generate a report on novel evaluation efforts, like:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Living labs<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Evaluation as a service<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Large-scale A/B tests<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Interactive retrieval evaluation<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Session-based evaluation<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - User-centered evaluation<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Counterfactual evaluation<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Novel evaluations in application domains such as cultural heritage, digital libraries, social media, expert search, health information, etc.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:black">        - Other evaluations that go beyond TREC  <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I think this could be the ticket which would bring the discovery cluster back to life.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Any takers?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Thanks <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Dr. Lewis John McGibbney Ph.D., B.Sc.(Hons)</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Data Scientist III</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Computer Science for Data Intensive Applications Group (398M)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Instrument Software and Science Data Systems Section (398)<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Jet Propulsion Laboratory</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">California Institute of Technology </span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="IT" style="font-size:10.5pt;font-family:Courier;color:black">4800 Oak Grove Drive</span><span lang="IT" style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="IT" style="font-size:10.5pt;font-family:Courier;color:black">Pasadena, California 91109-8099</span><span lang="IT" style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Mail Stop : 158-256C</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Tel:  (+1) (818)-393-7402</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">Cell: (+1) (626)-487-3476</span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-size:10.5pt;font-family:Courier;color:black">Fax:  (+1) (818)-393-1190</span><span lang="FR" style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-size:10.5pt;font-family:Courier;color:black">Email:
<a href="mailto:lewis.j.mcgibbney@jpl.nasa.gov"><span style="color:#0563C1">lewis.j.mcgibbney@jpl.nasa.gov</span></a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black">ORCID: orcid.org/0000-0003-2185-928X<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;color:black"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;color:black">           <img border="0" width="83" height="26" style="width:.8645in;height:.2708in" id="Picture_x0020_1" src="cid:image001.png@01D4F9DF.296ADF00" alt="signature_1706758482"><o:p></o:p></span></p>
</div>
<div>
<div id="maincontent">
<div id="outputFigDisplay">
<p class="MsoNormal"><span style="font-size:10.5pt;color:black"><o:p> </o:p></span></p>
</div>
</div>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Courier;color:black"> Dare Mighty Things</span><o:p></o:p></p>
</div>
</body>
</html>