How Ceph Itself stores data 

Ceph itself is essentially an object storage and contains almost all the concepts we know about object storage, but not all of them!

BlueStore

show bluefs status for an osd 

run in cephadm shell 

ceph daemon osd.1 bluefs stats

1 : device size 0x3a38400000(233 GiB) : using 0x2c800000(712 MiB)

2 : device size 0x1bf1f800000(1.7 TiB) : using 0xd85ec000(3.4 GiB)

RocksDBBlueFSVolumeSelector

>>Settings<< extra=73 GiB, l0_size=1 GiB, l_base=1 GiB, l_multi=8 B

DEV/LEV     WAL         DB          SLOW        *           *           REAL        FILES

LOG         0 B         6 MiB       0 B         0 B         0 B         4.4 MiB     1

WAL         0 B         683 MiB     0 B         0 B         0 B         629 MiB     41

DB          0 B         22 MiB      0 B         0 B         0 B         8.7 MiB     15

SLOW        0 B         0 B         0 B         0 B         0 B         0 B         0

TOTAL       0 B         711 MiB     0 B         0 B         0 B         0 B         57

MAXIMUMS:

LOG         0 B         25 MiB      0 B         0 B         0 B         21 MiB

WAL         0 B         845 MiB     0 B         0 B         0 B         629 MiB

DB          0 B         22 MiB      0 B         0 B         0 B         8.7 MiB

SLOW        0 B         0 B         0 B         0 B         0 B         0 B

TOTAL       0 B         882 MiB     0 B         0 B         0 B         0 B

>> SIZE <<  0 B         221 GiB     1.7 TiB