Xarray engine: ensemble data

Get input GRIB ensemble forecast data.

import earthkit.data as ekd
ds_fl = ekd.from_source("sample", "ens_cf_pf.grib")

The data contains 3 ensemble members: 1 control and 2 perturbed members.

ds_fl.ls()

	centre	shortName	typeOfLevel	level	dataDate	dataTime	stepRange	dataType	number	gridType
0	ecmf	t	isobaricInhPa	500	20240603	0	0	cf	0	regular_ll
1	ecmf	t	isobaricInhPa	500	20240603	0	6	cf	0	regular_ll
2	ecmf	t	isobaricInhPa	500	20240603	0	0	pf	1	regular_ll
3	ecmf	t	isobaricInhPa	500	20240603	0	0	pf	2	regular_ll
4	ecmf	t	isobaricInhPa	500	20240603	0	6	pf	1	regular_ll
5	ecmf	t	isobaricInhPa	500	20240603	0	6	pf	2	regular_ll

When we convert GRIB data to Xarray with to_xarray() the ensemble dimension is defined by the “number” dimension role. By default, this role is using the “number” metadata key.

ds_fl.to_xarray()

<xarray.Dataset> Size: 33kB
Dimensions:    (number: 3, step: 2, latitude: 19, longitude: 36)
Coordinates:
  * number     (number) int64 24B 0 1 2
  * step       (step) timedelta64[ns] 16B 00:00:00 06:00:00
  * latitude   (latitude) float64 152B 90.0 80.0 70.0 60.0 ... -70.0 -80.0 -90.0
  * longitude  (longitude) float64 288B 0.0 10.0 20.0 30.0 ... 330.0 340.0 350.0
Data variables:
    t          (number, step, latitude, longitude) float64 33kB ...
Attributes: (12/13)
    param:        t
    paramId:      130
    class:        od
    stream:       enfo
    levtype:      pl
    type:         cf
    ...           ...
    date:         20240603
    time:         0
    domain:       g
    levelist:     500
    Conventions:  CF-1.8
    institution:  ECMWF

xarray.Dataset

• Dimensions:
  • number: 3
  • step: 2
  • latitude: 19
  • longitude: 36
• Coordinates: (4)
  • number
    (number)
    int64
    0 1 2

    array([0, 1, 2])

  • step
    (step)
    timedelta64[ns]
    00:00:00 06:00:00

    array([             0, 21600000000000], dtype='timedelta64[ns]')

  • latitude
    (latitude)
    float64
    90.0 80.0 70.0 ... -80.0 -90.0

    units :

    degrees_north

    standard_name :

    latitude

    long_name :

    latitude

    array([ 90.,  80.,  70.,  60.,  50.,  40.,  30.,  20.,  10.,   0., -10., -20.,
           -30., -40., -50., -60., -70., -80., -90.])

  • longitude
    (longitude)
    float64
    0.0 10.0 20.0 ... 330.0 340.0 350.0

    units :

    degrees_east

    standard_name :

    longitude

    long_name :

    longitude

    array([  0.,  10.,  20.,  30.,  40.,  50.,  60.,  70.,  80.,  90., 100., 110.,
           120., 130., 140., 150., 160., 170., 180., 190., 200., 210., 220., 230.,
           240., 250., 260., 270., 280., 290., 300., 310., 320., 330., 340., 350.])

• Data variables: (1)
  • t
    (number, step, latitude, longitude)
    float64
    ...

    standard_name :

    air_temperature

    long_name :

    Temperature

    units :

    K

    _earthkit :

    {'message': b"GRIB\x00\x00\xa2\x01\x00\x00j\x80b\x9a\xff\x80\x82d\x01\xf4\x18\x06\x03\x00\x00\x01\x00\x00\x01\x00\x00\x00\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x1e\x01\n\x04\x0b0001\x003\x02\x00\x00\x00\x014\xd8\xdb\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 \x00\xff\x00\x00$\x00\x13\x01_\x90\x00\x00\x00\x80\x81_\x90\x05W0'\x10'\x10\x00\x00\x00\x00\x00\x00\x00\x0c\x00\x80\x02D\xb9}n\x00\x007777", 'bitsPerValue': 12}

    [4104 values with dtype=float64]

• Indexes: (4)
  • number
    PandasIndex

    PandasIndex(Index([0, 1, 2], dtype='int64', name='number'))

  • step
    PandasIndex

    PandasIndex(TimedeltaIndex(['0 days 00:00:00', '0 days 06:00:00'], dtype='timedelta64[ns]', name='step', freq=None))

  • latitude
    PandasIndex

    PandasIndex(Index([ 90.0,  80.0,  70.0,  60.0,  50.0,  40.0,  30.0,  20.0,  10.0,   0.0,
           -10.0, -20.0, -30.0, -40.0, -50.0, -60.0, -70.0, -80.0, -90.0],
          dtype='float64', name='latitude'))

  • longitude
    PandasIndex

    PandasIndex(Index([  0.0,  10.0,  20.0,  30.0,  40.0,  50.0,  60.0,  70.0,  80.0,  90.0,
           100.0, 110.0, 120.0, 130.0, 140.0, 150.0, 160.0, 170.0, 180.0, 190.0,
           200.0, 210.0, 220.0, 230.0, 240.0, 250.0, 260.0, 270.0, 280.0, 290.0,
           300.0, 310.0, 320.0, 330.0, 340.0, 350.0],
          dtype='float64', name='longitude'))

• Attributes: (13)

  param :

  t

  paramId :

  130

  class :

  od

  stream :

  enfo

  levtype :

  pl

  type :

  cf

  expver :

  0001

  date :

  20240603

  time :

  0

  domain :

  g

  levelist :

  500

  Conventions :

  CF-1.8

  institution :

  ECMWF

This default behaviour can be overridden by specifying custom dim_roles. E.g. to get the ensemble member number from the “perturbatioNumber” key we can use:

ds_fl.to_xarray(dim_roles={"number": "perturbationNumber"})

<xarray.Dataset> Size: 33kB
Dimensions:    (number: 3, step: 2, latitude: 19, longitude: 36)
Coordinates:
  * number     (number) int64 24B 0 1 2
  * step       (step) timedelta64[ns] 16B 00:00:00 06:00:00
  * latitude   (latitude) float64 152B 90.0 80.0 70.0 60.0 ... -70.0 -80.0 -90.0
  * longitude  (longitude) float64 288B 0.0 10.0 20.0 30.0 ... 330.0 340.0 350.0
Data variables:
    t          (number, step, latitude, longitude) float64 33kB ...
Attributes: (12/14)
    param:        t
    paramId:      130
    class:        od
    stream:       enfo
    levtype:      pl
    type:         cf
    ...           ...
    time:         0
    domain:       g
    number:       0
    levelist:     500
    Conventions:  CF-1.8
    institution:  ECMWF

xarray.Dataset

• Dimensions:
  • number: 3
  • step: 2
  • latitude: 19
  • longitude: 36
• Coordinates: (4)
  • number
    (number)
    int64
    0 1 2

    array([0, 1, 2])

  • step
    (step)
    timedelta64[ns]
    00:00:00 06:00:00

    array([             0, 21600000000000], dtype='timedelta64[ns]')

  • latitude
    (latitude)
    float64
    90.0 80.0 70.0 ... -80.0 -90.0

    units :

    degrees_north

    standard_name :

    latitude

    long_name :

    latitude

    array([ 90.,  80.,  70.,  60.,  50.,  40.,  30.,  20.,  10.,   0., -10., -20.,
           -30., -40., -50., -60., -70., -80., -90.])

  • longitude
    (longitude)
    float64
    0.0 10.0 20.0 ... 330.0 340.0 350.0

    units :

    degrees_east

    standard_name :

    longitude

    long_name :

    longitude

    array([  0.,  10.,  20.,  30.,  40.,  50.,  60.,  70.,  80.,  90., 100., 110.,
           120., 130., 140., 150., 160., 170., 180., 190., 200., 210., 220., 230.,
           240., 250., 260., 270., 280., 290., 300., 310., 320., 330., 340., 350.])

• Data variables: (1)
  • t
    (number, step, latitude, longitude)
    float64
    ...

    standard_name :

    air_temperature

    long_name :

    Temperature

    units :

    K

    _earthkit :

    {'message': b"GRIB\x00\x00\xa2\x01\x00\x00j\x80b\x9a\xff\x80\x82d\x01\xf4\x18\x06\x03\x00\x00\x01\x00\x00\x01\x00\x00\x00\x15\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x1e\x01\n\x04\x0b0001\x003\x02\x00\x00\x00\x014\xd8\xdb\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00 \x00\xff\x00\x00$\x00\x13\x01_\x90\x00\x00\x00\x80\x81_\x90\x05W0'\x10'\x10\x00\x00\x00\x00\x00\x00\x00\x0c\x00\x80\x02D\xb9}n\x00\x007777", 'bitsPerValue': 12}

    [4104 values with dtype=float64]

• Indexes: (4)
  • number
    PandasIndex

    PandasIndex(Index([0, 1, 2], dtype='int64', name='number'))

  • step
    PandasIndex

    PandasIndex(TimedeltaIndex(['0 days 00:00:00', '0 days 06:00:00'], dtype='timedelta64[ns]', name='step', freq=None))

  • latitude
    PandasIndex

    PandasIndex(Index([ 90.0,  80.0,  70.0,  60.0,  50.0,  40.0,  30.0,  20.0,  10.0,   0.0,
           -10.0, -20.0, -30.0, -40.0, -50.0, -60.0, -70.0, -80.0, -90.0],
          dtype='float64', name='latitude'))

  • longitude
    PandasIndex

    PandasIndex(Index([  0.0,  10.0,  20.0,  30.0,  40.0,  50.0,  60.0,  70.0,  80.0,  90.0,
           100.0, 110.0, 120.0, 130.0, 140.0, 150.0, 160.0, 170.0, 180.0, 190.0,
           200.0, 210.0, 220.0, 230.0, 240.0, 250.0, 260.0, 270.0, 280.0, 290.0,
           300.0, 310.0, 320.0, 330.0, 340.0, 350.0],
          dtype='float64', name='longitude'))

• Attributes: (14)

  param :

  t

  paramId :

  130

  class :

  od

  stream :

  enfo

  levtype :

  pl

  type :

  cf

  expver :

  0001

  date :

  20240603

  time :

  0

  domain :

  g

  number :

  0

  levelist :

  500

  Conventions :

  CF-1.8

  institution :

  ECMWF