<div dir="ltr">Dear colleagues, <div><br></div><div>We cordially invite you to join us for the upcoming Webinar sponsored by the NSF <a href="https://cyber2a.github.io/">CyberTraining project</a>. Given the interest in deepening the use of AI in Earth and Environmental Sciences, we have had the pleasure to invite <span style="font-family:arial,sans-serif;color:rgb(29,28,29);font-variant-ligatures:common-ligatures">D</span>r. Paolo Fraccaro and Dr. Daniela Szwarcman from <span style="font-family:arial,sans-serif;color:rgb(29,28,29);font-variant-ligatures:common-ligatures">IBM research to introduce the newly released geospatial foundation model Prithvi jointly developed by IBM and NASA. Detailed webinar information can be found below. We also attached the flyer for the Webinar and would really appreciate it if you could circulate around your network. </span><br clear="all"><div><br></div><div><font face="arial, sans-serif"><span style="color:rgb(35,35,51)"><b>Title</b>: A Framework for Building and Finetuning Geospatial Foundation Models</span><br></font></div><font face="arial, sans-serif"><b>Speakers</b>: <span style="color:rgb(29,28,29);font-variant-ligatures:common-ligatures">Dr. </span><a target="_blank" class="gmail-c-link" href="https://research.ibm.com/people/paolo-fraccaro" rel="noopener noreferrer" style="box-sizing:inherit;text-decoration-line:none;font-variant-ligatures:common-ligatures">Paolo Fraccaro</a><span style="color:rgb(29,28,29);font-variant-ligatures:common-ligatures"> and </span><span style="color:rgb(29,28,29);font-variant-ligatures:common-ligatures">Dr. </span><a target="_blank" class="gmail-c-link" href="https://research.ibm.com/people/daniela-szwarcman" rel="noopener noreferrer" style="box-sizing:inherit;text-decoration-line:none;font-variant-ligatures:common-ligatures">Daniela Szwarcman</a>,<span style="color:rgb(29,28,29);font-variant-ligatures:common-ligatures"> IBM research</span></font></div><div><font face="arial, sans-serif"><span style="color:rgb(29,28,29);font-variant-ligatures:common-ligatures"><b>Time</b>: November 13, 2023, 12-1pm EST</span></font></div><div><font color="#1d1c1d" face="arial, sans-serif"><span style="font-variant-ligatures:common-ligatures"><b>To register</b>: </span></font><a href="https://cyber2a.github.io/webinar-registration">https://cyber2a.github.io/webinar-registration</a></div><div><font color="#1d1c1d" face="arial, sans-serif"><span style="font-variant-ligatures:common-ligatures"><b>Abstract</b>: </span></font></div><div><div style="color:rgb(0,0,0)">Foundation models are artificial intelligence (AI) models that are pre-trained on large unlabeled datasets through self-supervision and then fine-tuned for different downstream tasks. There is increasing interest in the scientific community to investigate whether this approach can be successfully applied to domains beyond natural language processing and computer vision to effectively build generalist AI models that make use of different types of data. Here, <span class="gmail-il" style="">IBM</span> and NASA present the first end-to-end framework for pre-training and fine-tuning foundation models efficiently from a large source of geospatial data. We have implemented and applied this framework to produce Prithvi, a geospatial foundation model pre-trained on multispectral satellite imagery from the NASA Harmonized Landsat-Sentinel 2 (HLS) dataset. The framework supports automated statistical smart sampling strategies based on whether, land cover and other datasets to maximize impact and minimize waste of resources (e.g. avoiding areas and time ranges that would not bring any new information). Prithvi is a Temporal Vision Transformer that includes positional and temporal embeddings, which was trained on <span class="gmail-il" style="">IBM</span> Cloud Vela cluster (NVIDIA A100 GPUs) using a Masked Auto Encoder approach and Mean Squared Error loss function for a total of 10k GPUs hours. We demonstrated using the fine-tuning workflows built in our framework that Prithvi could be successfully fine-tuned to produce state-of-the-art AI models for Earth observation tasks: flood mapping, burn scar identification and multi-temporal crop classification. We carefully studied the impact of Prithvi's pre-trained weights on the downstream tasks by comparing learning curves for 1) fine-tuning the whole model, 2) fine-tuning only the downstream task decoder, 3) training the model without taking advantage of Prithvi's pre-trained weights. Furthermore, given the scarcity of labeled data for Earth observation tasks, we progressively decreased the amount of labeled data available for fine-tuning the model to assess data efficiency. This analysis showed that using Prithvi we could achieve peak performance on test data quicker and with less training data (i.e. up to 50% less). Finally, in order to increase the impact of this work, the pre-trained model and fine-tuning workflows have been made publicly available through Hugging Face (<a href="https://urldefense.com/v3/__https://huggingface.co/ibm-nasa-geospatial__;!!IKRxdwAv5BmarQ!dJpbD9Smzq372WC9oDu6IM7mya1lvQQpa4_NkgdSELtAtRT23lLkgIdhSjaqz0ozpqhR8rxdTHUDu9HY$" target="_blank" style="">https://huggingface.co/<span class="gmail-il">ibm</span>-nasa-geospatial</a>).</div><br class="gmail-Apple-interchange-newline"></div>Cheers,<br>Wenwen<div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font face="arial, helvetica, sans-serif">Wenwen Li, PhD, Professor</font></div><div dir="ltr"><span style="font-size:12.8px"><font face="arial, helvetica, sans-serif">School of Geographical Sciences and Urban Planning</font></span></div><div><span style="font-size:12.8px"><font face="arial, helvetica, sans-serif">Director, Cyberinfrastructure and Computational Intelligence Lab (<a href="http://cici.lab.asu.edu" target="_blank">CICI</a>)</font></span></div><div><span style="font-size:12.8px"><font face="arial, helvetica, sans-serif">Research Director, Spatial Analysis Research Center (SPARC)</font></span></div><div><font face="arial, helvetica, sans-serif"><span style="font-size:12.8px">Graduate Faculty, Computer Science Program </span></font></div><div><font face="arial, helvetica, sans-serif"><span style="font-size:12.8px">Honors Faculty, Barrett Honors College at Arizona State University</span></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif"><span style="font-size:12.8px">Phone: (480)-727-5987.  Web: </span><a href="http://www.public.asu.edu/~wenwenl1" style="font-size:12.8px" target="_blank">http://www.public.asu.edu/~wenwenl1</a></font></div><div dir="ltr"><span style="font-size:12.8px"><font face="arial, helvetica, sans-serif">Office: COOR 5644, Arizona State University, P.O. Box 875302 Tempe, AZ 85287-5302</font></span><div><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>