Disponible la base de datos CORINE Land Cover 2000 sin costuras / CORINE Land Cover 2000 seamless database available

La Agencia Europea de Medio Ambiente (AEMA) publica un DVD con la base de datos resultante del proyecto CORINE Land Cover 2000. Para solicitarlo, podéis dirigiros a la siguiente URL:

http://dataservice.eea.europa.eu/dataservice/metadetails.asp?id=950


Como soy uno de los 'padres de la criatura' (me refiero al DVD), os voy a contar en qué consiste:

En primer lugar, el proyecto CORINE Land Cover está cofinanciado por la Unión Europea y los países miembros de la AEMA (que son más que los países miembros de la Unión, 32 en concreto, más información en su sitio web). Consiste en, a partir de imágenes LANDSAT del proyecto IMAGE2000, fotointerpretar la cobertura del suelo para generar una clasificación que cubra todo el territorio, con una unidad de mapeo mínima de 25 hectáreas; los elementos lineales se mapean solo cuándo su anchura es mayor a 30 metros. Además, se crea también una capa de cambios de cobertura del suelo, donde se identifica la cobertura que había en CORINE 1990, y la que hay en CORINE 2000. La unidad de mapeo mínima para los cambios es de 5 hectáreas.

Una vez que los países realizan su CORINE Land Cover 2000 (y la capa de cambios), empieza el proceso de generar una base de datos europea 'sin costuras', es decir, se armonizan los datos en las fronteras entre países. Por defecto, los países mapean más allá de sus fronteras, para evitar que aparezcan huecos. Este proceso de crear la base de datos sin costuras consiste en ajustar manualmente o con procesos automáticos los polígonos a ambos lados de las fronteras.





Este proceso de armonización se realizó utilizando LIBRARIAN de ARC/INFO, puesto que la capa de polígonos es demasiado pesada para poderlo almacenar en una sola capa. Mi tarea empieza a continuación: poner la capa en ArcSDE, y definir el modo de difundir esta base de datos en el DVD.

Los pasos que seguí fueron los siguientes:

1. Cargar los datos en ArcSDE

Para cargar los datos en ArcSDE me tuve que enfrentar a la migración del formato LIBRARIAN a ArcSDE, que no es nada sencillo, puesto que el formato LIBRARIAN en realidad no crea una capa 'sin costuras', sino que crea un mosaico de capas, disimulando los bordes del mosaico, es decir, donde los polígonos están cortados. Es decir, en realidad habíamos cambiado unas costuras por otras.

Para corregir esto, exporté a una sola capa de ArcSDE solo los polígonos que no tocaban el borde del mosaico. El resto de los polígonos los fusioné con un comando dissolve. Para automatizar todo esto utilicé ArcView y Avenue. Formatos antiguos, tecnología antigua. Y sobre todo, Avenue sigue siendo fantástico para trabajar con geometrías.

2. Crear el mosaico para difusión de la base de datos sin costuras

Nada más terminar lo anterior, me plantean en la AEMA cómo difundir esta base de datos. Como una sola capa no es posible, ya que en formato shapefile ocupa más de 4GB, es decir, no se podrá abrir. Y ArcSDE es demasiado 'exclusivo' para utilizar su formato de exportación para difusión. Así que me plantean preparar un DVD, y hacer un mosaico (otra vez!) de la capa, pero utilizando la malla estándar europea de 100 kilómetros de lado.

El primer obstáculo que encontré es que los datos vectoriales están almacenados en coordenadas geográficas (sin proyectar), referidas al estándar europeo, ETRS89; pero la malla estándar está creada para la proyección Lambert Azimuthal Equal Area (LAEA), de manera que era necesario proyectar la información de CORINE Landcover a LAEA antes de exportar la información. Esto ya me exigía tener que utilizar ArcGIS Desktop, que proyecta sobre la marcha.

El segundo obstáculo es que hacer un Clip de una capa de 4GB no funciona. La solución: selecciono con cada cuadrado de la malla, lo exporto, y a éste le hago el clip. Y ya puestos, ¿por qué no meterlo también en un ZIP?

Al final hice un script Python que hacía todo eso: recorrer la malla, y por cada celda de la malla seleccionar los polígonos CORINE de debajo, exportarlos, hacerles un Clip con la malla, y meterlos en un ZIP. La parte de meterlos en un ZIP la resolví con un compresor gratuito que se puede llamar desde línea de comandos, el Filzip.

3. Hacer el master del DVD

Con la ayuda de mis compañeros en el Centro Temático, hicimos un "master" del DVD, en el que incluímos una interfaz web muy sencilla para acceder a la documentación, y poder seleccionar los ZIP por zonas.

English version

The European Environment Agency (EEA) has published a DVD with the seamless database from the CORINE Land Cover 2000 project. If you want to ask for a copy of this DVD, follow this URL: http://dataservice.eea.europa.eu/dataservice/metadetails.asp?id=950

I had an active role in the creation of this DVD, so I have decided to explain to you what it is about: first of all, the CORINE Land Cover project is co-financed by the European Union and the EEA Member Countries (they are currently 32 countries, more information on EEA's website). In this project, based on LANDSAT images from the IMAGE2000 project, land cover is photo-interpreted to classify the whole territory, using a minimum mapping unit of 25 Hectares; linear features are mapped only when their width is bigger than 30 meters. In addition, a changes layer is created, showing the change from 1990 to 2000 (based on CORINE 1990). In the case of the changes layer, the minimum mapping unit is 5 Hectares.

Once the countries build their CORINE Land Cover 2000 + the changes layer, the process for creating an European Seamless Database starts. This means that the data is harmonized between country borders. This armonization process was made using ARC/INFO's LIBRARIAN, because the layer is too heavy to create one single layer.

My job started right after that process: to load the layer in ArcSDE, and define a way to disseminate this database, using DVDs. The steps I had to go through are the following:

1. Load the Data in ArcSDE

The first issue I had to face was migrating LIBRARIAN to ArcSDE. This was not easy at all, because LIBRARIAN does not really create a seamless database. It creates a new (different) mosaic instead.

I designed a process to clean this up: I created one single layer in ArcSDE, where I loaded all the polygons that didn't touch LIBRARIAN's tiles' borders. Then I merged together the polygons left using the dissolve concept, and loading to ArcSDE afterwards. All this was done using the old ArcView GIS and Avenue. Old formats, old technology. And, above all, Avenue has no competition for automating geometries manipulation.

2. Create the new mosaic for disseminating the seamless database

Right after finishing the previous process, the EEA asked me how to disseminate this database. As one single layer is not possible (if you consider the file formats that the people normally uses); as a shapefile, the size would be bigger than 4GB, so it won't open. So the only solution was to mosaic it (again!), but in this case we decided to mosaic it using the standard 100 km european grid.

First obstacle: the CORINE vector data is stored in Geographic Coordinates (without a projection), using the European Standard, ETRS89; but the grid has been created for the Lambert Azimuthal Equal Area (LAEA) projection, so the data had to be projected before being tiled. That means that ArcGIS Desktop should be used, as it projects 'on-the-fly'.

The second problem I had to face was how to perform a clip on such a huge layer. In that case, the solution was to first select with one grid cell, then export, and finally clip the exported polygons with the grid cell, as a shapefile. Once this was done, why not adding the files into a ZIP file?

For making all this, I created a Python script that automated all these steps: loop through the grid cells, select the polygons intersecting, exporting them using the LAEA projection, clipping the exported polygons with the grid cell's geometry, and finally ZIP the shapefile. For the zipping part I used a freeware ZIP compressor that can be invoked from the command line, Filzip.

3. Prepare the DVD master

With the help of my colleagues in the Topic Centre, we prepared a DVD master, with a browser-based interface to access the documentation, and that helped the user selecting the ZIP files by zones.