Sammenligning av distribuerte filsystemer HDFS VS Ceph
Comparison Distributed File Systems Hdfs Vs Ceph
1. Sammendrag:
Nylig lærte jeg om Ceph, og jeg vil alltid sammenligne det med HDFS. Det ene er å lage et trinnvis sammendrag, og det andre er å utdype min forståelse av de to distribuerte filsystemene.
2. Gjennomgang:
1. HDFS er basert på utviklingen av Google FS (GFS). Det startet relativt tidlig og er et ofte brukt distribuert filsystem i store dataløsninger. HDFS i Hadoop-løsningen er som følger:
HDFS-arkitektur er som følger :
Namenode er ansvarlig for metadata for filsystemet, og datanode er ansvarlig for de virkelige datablokkene.
2. Ceph-historie: referer til Ceph Introduction Series (1): Ceph History
Ceph-arkitekturen er som følger :
Ceph ble opprinnelig designet for å bli et distribuert filsystem, men med det store antallet applikasjoner av cloud computing vil den til slutt støtte tre former for lagring: blokkering og lagring av objekter.
Lagring, filsystem
Prinsipper for Ceph Object Storage
Tre, sammenligning:
HDFS og Ceph det samme punkt
| HDFS | Ceph | |
| Distribuert filsystemklynge | Ja | Ja |
| Strukturmønster | Master / Slave | Klient server |
| Kan den brukes som et back-end distribuert filsystem for Hadoop | Ja | Ja, librados har et Java-grensesnitt. Referanse: http://docs.ceph.com/docs/master/cephfs/hadoop/ |
| Redundant motstand mot kopikatastrofer | Ja | Ja |
| Skalerbarhet | Ja | Ja |
| Høy effektivitet | høy | Veldig høy |
HDFS og Ceph annerledes punkt
| HDFS | Ceph | |
| Programmeringsspråk for kildekode | java | C ++ (ceph-klient gir C ++ / C / Java / python og andre språk) |
| Filsystemtype | Lagring av filer | Objektlagring (selv om klienten tilbyr blokk (RBD) / fil (CephFS) / objektlagring (RGW), er server-side lagring backend Filestore / Blutstore egentlig objektlagring). Vennligst se: Opprinnelsen og egenskapene til de tre Ceph-lagringsgrensesnittene (blokk / fil / objekt) |
| Enten basert på det lokale filsystemet | HDFS er basert på det lokale filsystemet | Cephs lagringsbackend FileStore er basert på det lokale filsystemet BlueStore er ikke basert på det lokale filsystemet, men direkte basert på blokkeringsenheter. RocketDB brukes til å administrere metadata, og BlueFS registrerer loggfilsystemet. Vennligst se: Ceph avansert serie (1): noen grunnleggende konsepter (2 av 2, delvis server-side OSD) |
| Inndeling i det distribuerte filsystemet | Filen er delt inn i blokker (standardkonfigurasjonen av blokkstørrelse er 128M) | Filen er delt inn i objekter (standardkonfigurasjonen for objektstørrelsen er 4M) |
| Bind sjefen (løsning) | Big data-løsninger (Hadoop / Spark, etc.) | Distribusjonsmetode for cloud computing-løsning (Openstack) |
slutt:
Hvis du vil vite mer om de andre forskjellene mellom de to filsystemene, kan du legge igjen en melding.