<div dir="ltr">I don't think this is a good idea.<div><br><div>It is specific to S3. By this logic, we would have separate metadata systems for every cloud provider. And it means the poor toolmakers (like me) have to spend the rest of their lives running around after you, adding yet another metadata reader for yet another system. And in this specific case, it means you could only read the metadata by using the S3 tools, whereas you can get the contents of a public bucket (e.g. the data) via a URL, even from outside the system.</div><div><br></div><div>Instead, for files/buckets/whatever (eg .csv files, relational databases) that don't have a native metadata storage system, how about just 1 file-like metadata storage system that could be used by all. And doesn't that already exist with the NCO json (<a href="http://nco.sourceforge.net/nco.html#json">http://nco.sourceforge.net/nco.html#json</a>) (if you leave out the data part and just include the metadata) or ncml?</div><div><br></div></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 22, 2020 at 11:32 AM David Neufeld via Esip-documentation <<a href="mailto:esip-documentation@lists.esipfed.org">esip-documentation@lists.esipfed.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Right, and it would fit well in an HDF/ZARR context.<div><br></div><div>Object 1 file format CSV</div><div>Object 2 file format Zarr</div><div>Object 3 file format NetCDF</div><div><br></div><div>Object metadata properties are standardized across all three!</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 22, 2020 at 12:17 PM Ted Habermann <<a href="mailto:tedhabermann@gmail.com" target="_blank">tedhabermann@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Dave,<div><br></div><div>This sounds good… Contrasts with having the metadata in a separate object, yes?</div><div><br></div><div>We could put this together with Aleksandar talking about HDF/ZARR?</div><div><br></div><div>Ted<br><div><br><blockquote type="cite"><div>On Oct 22, 2020, at 12:05 PM, David Neufeld <<a href="mailto:david.neufeld@noaa.gov" target="_blank">david.neufeld@noaa.gov</a>> wrote:</div><br><div><div dir="ltr">Hi Ted,<div><br></div><div>How about a discussion on embedding metadata in s3 object metadata? Basically the idea would be to take our ACDD community best practices and do a proof of concept with embedding it in the s3 object metadata. A self describing file format independent of underlying data format might be nice.</div><div><br></div><div>Dave</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 22, 2020 at 11:57 AM Ted Habermann via Esip-documentation <<a href="mailto:esip-documentation@lists.esipfed.org" target="_blank">esip-documentation@lists.esipfed.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello all,<br>
<br>
Next week we have one agenda item - planning for the winter meeting. This should not take the whole meeting. If anyone has another item they would like to discuss please let the group know…<br>
<br>
Stay safe,<br>
Ted<br>
_______________________________________________<br>
Esip-documentation mailing list<br>
<a href="mailto:Esip-documentation@lists.esipfed.org" target="_blank">Esip-documentation@lists.esipfed.org</a><br>
<a href="https://lists.esipfed.org/mailman/listinfo/esip-documentation" rel="noreferrer" target="_blank">https://lists.esipfed.org/mailman/listinfo/esip-documentation</a><br>
</blockquote></div>
</div></blockquote></div><br></div></div></blockquote></div>
_______________________________________________<br>
Esip-documentation mailing list<br>
<a href="mailto:Esip-documentation@lists.esipfed.org" target="_blank">Esip-documentation@lists.esipfed.org</a><br>
<a href="https://lists.esipfed.org/mailman/listinfo/esip-documentation" rel="noreferrer" target="_blank">https://lists.esipfed.org/mailman/listinfo/esip-documentation</a><br>
</blockquote></div>