73e471005b
El soporte multi-país estaba declarado pero nunca se había ejecutado entero. Al hacerlo aparecieron defectos en cadena, la mayoría por dar por hecho que lo que vale en España vale en todas partes. Máscara del país - El nivel administrativo que cubre el país no es el mismo en todas partes: en España el 4 son las comunidades, en Portugal el 4 se queda en 2.338 km2 de 89.015 y cubre el 8, en Islandia el 8 tiene un solo polígono de 5 km2 y manda el 6. Se elige el nivel midiendo cobertura, no suponiéndola. - Se mide sobre la máscara del país y no por área cruda de los polígonos: con áreas crudas el nivel grueso gana en los países con costa (las županije croatas cuentan 30.000 km2 de Adriático) y el fino gana en Polonia cubriendo el 57 %. - Fuera el mar. El límite del país en OSM incluye las aguas territoriales: Islandia son 177.147 km2 con mar y 102.719 de tierra, y salían ocho candidatos flotando en el Atlántico. Se recorta por DEM, donde el océano es exactamente 0.0 y la tierra a cero clavado casi no existe (5 km2 de 56.439 en Croacia). Los países bajo el nivel del mar salen negativos, no cero. Un solo modelo - score.py duplicaba los umbrales de stars.py con otros valores (1.500 m al edificio en vez de 2.000, 8 grados de pendiente en vez de 10) y publicaba su propia lista de candidatos sin filtro acústico: 60 sitios que compartían uno con los 355 buenos. Fuera la lista, y los umbrales salen de stars.py. Datos por país - Los espacios protegidos se guardaban en un único directorio con un "si ya existe, no lo bajes", así que cualquier país nuevo se quedaba con los polígonos de España. Uno por país. - Comprobado contra los servicios de la EEA país por país: Andorra y Reino Unido devuelven cero sitios (Andorra nunca estuvo en la UE, el Reino Unido salió) y Grecia solo tiene Natura 2000. Donde no hay fuente oficial se cae a OpenStreetMap avisando, que es incompleto pero mucho mejor que una máscara vacía: en Andorra eran 9 km2 contra 70. - make datos no descargaba el OSM y los vecinos se extraían a mano. Nuevo src/dl_osm.sh y extract_osm.py los recorre solo, avisando si falta alguno. Robustez - stars.py reventaba con un traceback si un país no daba ningún sitio. Ahora explica el embudo filtro a filtro y corta limpio. Pasa en cuatro países. - stars.py no cabía en memoria con mallas grandes: Argelia son 449 M celdas, 16 capas de 1,8 GB más los criterios, y el kernel mataba el proceso. Las capas se mapean a disco. Resultado idéntico byte a byte. - dl_dem.sh no era seguro en paralelo: el fichero temporal se llamaba igual para todos y dos países bajando la misma tesela se pisaban. - revisar.py llevaba la ventana de España cableada, comparaba el centro de celda sin tolerancia de rejilla, y trataba como fallo una etiqueta que hay países que no tienen. Añadidas dos comprobaciones nuevas: candidatos sobre el mar y candidatos pegados al borde de la ventana, donde el aislamiento sale inflado porque al otro lado del bbox no hay datos. Visor - Selector de país en la cabecera. Cada visor es un fichero autónomo, así que salta al del otro país en vez de cargar los dos. Rutas relativas. - Las capas del mapa pasan a ser excluyentes: las tres a la vez se tapaban. - Lo español (teselas del IGN, catastro, WMS del MITECO, ortofoto del PNOA) queda condicionado a la región en vez de salir en blanco fuera de España. Publicación - Al repositorio va el visor y los CSV de cada país; fuera los WebP, que van ya incrustados dentro del visor, y los PNG de los mapas, que solo usa el informe. make empaquetar deja además un zip por país para las releases y make descargar los baja sin recalcular nada. - El informe no se genera fuera de España: no es una plantilla sino un artículo escrito, con cifras del barrido español en la prosa.
3.3 KiB
Añadir un país
El país es un parámetro. Se elige con la variable REGION.
./.venv/bin/python src/regions.py # ver el catálogo
REGION=pt make all # procesar Portugal entero
Los resultados van a out/pt/ y los intermedios a data/interim/pt/. España,
que es la región por defecto, publica en out/ para no romper rutas.
Por qué una malla por país y no un mapa continental
Europa entera a 100 m son mil millones de celdas: 4 GB por capa y unos 73 GB para las dieciocho capas del modelo, más de lo que cabe en memoria de una vez. El norte de África añade otros 61 GB. Por país el problema es tratable y además se puede paralelizar.
Lo que hay que mirar antes
src/regions.py declara, por país, qué datos existen de verdad:
| Campo | Qué significa |
|---|---|
protected='eea' |
Hay Red Natura 2000 y designaciones nacionales de la Agencia Europea de Medio Ambiente. El filtro legal funciona |
protected=None |
No hay fuente libre equivalente. El filtro legal no se aplica. Pasa en todo el norte de África: hay que conseguir la cartografía del país antes de fiarse de un resultado |
ortho='pnoa' |
Ortofoto nacional descargable. Solo España |
ortho=None |
Sin foto aérea incrustada. En el visor queda el mapa deslizante, que sí funciona en todas partes |
Proyección
Europa usa EPSG:3035 (equiárea europea). Para el norte de África se construye
una proyección equiárea centrada en el propio país, porque 3035 deforma fuera de
Europa. Está en regions.crs_for().
Añadir un país que no esté
En src/regions.py:
"si": dict(name="Eslovenia", bbox=(13.3, 45.4, 16.6, 46.9),
osm=["europe/slovenia"],
neighbours=["europe/croatia", "europe/austria", "europe/italy"],
protected="eea", ortho=None),
bboxen lon/lat con algo de margen.osmyneighbours, rutas de Geofabrik.- Los vecinos importan. Sin ellos, la franja fronteriza sale falsamente vacía: el extracto está recortado por la frontera y al otro lado no hay edificios en los datos aunque sí los haya en el terreno.
make datos baja el extracto del país y los de sus vecinos con src/dl_osm.sh,
y extract_osm.py los procesa solos con sufijo _n1, _n2… Si falta alguno,
avisa por pantalla en vez de dar el resultado por bueno.
Los espacios protegidos van a data/raw/prot/<país>/, uno por región. Antes
había un solo directorio con un "si ya existe, no lo bajes", y cualquier país
nuevo se quedaba con los polígonos de España.
Niveles administrativos
El admin_level que cubre el país no es el mismo en todas partes, y de ahí
sale la máscara del país y la etiqueta gruesa del candidato. En España el 4 son
las comunidades y cubre los 498.542 km²; en Portugal el 4 se queda en 2.338 km²
y quien cubre el país son el 6 (distritos, 89.082 km²) y el 8 (freguesías).
No hay que tocar nada: config.admin_polygons() extrae los niveles 2, 4, 6 y 8
y se queda con el primero que llegue al 98 % del que más superficie cubra. Pero
conviene mirar el km² que imprime build_rasters: si no se parece a la
superficie real del país, el resultado no vale nada.
Coste aproximado
Por país mediano: 2-6 GB de descarga, ~25 GB de disco temporal y un par de horas.