Amundsen este o descoperire de date și metadate motor pentru îmbunătățirea productivității de analiști de date, date de oamenii de știință și inginerii atunci când interacționează cu date. Face asta astăzi prin indexarea resurselor de date (tabele, tablouri de bord, fluxuri etc.) și alimentarea unei căutări în stil page-rank pe baza modelelor de utilizare (de ex., tabelele foarte interogate apar mai devreme decât tabelele mai puțin interogate). Gândiți-vă la aceasta ca la Căutarea Google pentru date. Proiectul poartă numele exploratorului norvegian Roald Amundsen, prima persoană care a descoperit Polul Sud.Amundsen este găzduit de LF AI & Fundația de date. Acesta include trei microservicii, o bibliotecă de ingestie de date și o bibliotecă comună.

  • amundsenfrontendlibrary: serviciul Frontend, care este o aplicație balon cu un frontend React.,
  • amundsensearchlibrary: servicii de Căutare, care foloseste Elasticsearch pentru capabilitățile de căutare, este folosit pentru a alimenta frontend metadate căutare.
  • amundsenmetadatalibrary: serviciu de Metadate, care foloseste Neo4j sau Apache Atlas ca persistente strat, pentru a oferi diverse metadate.
  • amundsendatabuilder: biblioteca de ingestie a datelor pentru construirea graficului de metadate și a indexului de căutare. Utilizatorii ar putea încărca datele cu un script python cu biblioteca sau cu un flux de aer dag importarea bibliotecii.,
  • amundsencommon: Amundsen Comun biblioteca deține coduri comune printre microservices în Amundsen.
  • amundsengremlin: Biblioteca Amundsen Gremlin deține codul utilizat pentru Conversia obiectelor model în vârfuri și muchii în gremlin. Este folosit pentru încărcarea datelor într-un backend AWS Neptune.
  • amundsenrds: Amundsenrds conține ORM modele cu suport de baze de date relaționale ca metadate backend magazin în Amundsen. Schema în modelele ORM urmează logica modelelor databuilder., Amundsenrds vor fi utilizate în databuilder și metadatalibrary pentru metadate de stocare și regăsire cu baze de date relaționale.

Pagina de start¶

    Documentația¶

      Cerințe¶

      • Python = 3.6 sau 3.7
      • Nod = v10 sau v12 (v14 pot avea probleme de compatibilitate)
      • npm >= 6

      Interfață de Utilizator¶

      vă Rugăm să rețineți că bate joc de imagini numai a servit ca scop demonstrativ.

      • pagina de destinație: pagina de destinație pentru Amundsen, inclusiv 1. bare de căutare; 2., popular folosit tabele;

      • Căutare Preview: Vezi inline rezultatele de căutare pe măsură ce tastați

      • Masă Pagina de Detalii: Vizualizarea dintr-un Stup / Redshift masă

      • Coloana detaliu: Vizualizare de coloane dintr-un Stup / Redshift tabel care cuprinde un opțional statistici de afișare

      • Date Pagina de Previzualizare: Vizualizarea datelor de masă de previzualizare care ar putea integra cu Apache Superset sau alte Instrumente de Vizualizare a Datelor.,

      implică-te în Comunitate¶

      vrei ajutor sau vrei să ajuți?Utilizați butonul din antetul nostru pentru a vă alătura canalului slack. Contribuțiile sunt, de asemenea, mai mult decât binevenite! După cum sa explicat în CONTRIBUTING.md există multe modalități de a contribui, nu toate trebuie să fie cod cu funcții noi și corecții de erori, de asemenea documentație, cum ar fi intrări de întrebări frecvente, rapoarte de erori, postări de blog care împărtășesc experiențe etc. Toate ajuta muta Amundsen înainte. Dacă găsiți o vulnerabilitate de securitate, vă rugăm să urmați acest ghid.,

      Noțiuni de bază¶

      vă rugăm să vizitați documentația de instalare Amundsen pentru o pornire rapidă a bootstrap o versiune implicită a Amundsen cu date false.vă rugăm să vizitați Architecture for Amundsen architecture overview.

      Sprijinit Entități¶

      • Tabele (din Baze de date)
      • Oamenii (de la sisteme de resurse umane)
      • Tablouri de bord

      a Sprijinit Integrarea¶

      Masa Conectori¶

      • Amazon Athena
      • Amazon Lipici și nimic construit peste ea (ca Databricks Delta – care este o lucrare în curs de desfășurare).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Stup
      • CSV
      • Delta Lac
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (prin dbapi sau sql_alchemy)
      • PostgreSQL
      • în Curând
      • D
      • Fulg de nea

      Amundsen poate, de asemenea, conecta la orice bază de date care oferă dbapi sau sql_alchemy interface (care mai DBs oferi).,

      tabloul de Bord Conectori¶

      • Modul de google Analytics
      • Redash
      • Tablou

      ETL Orchestratie¶

      • Apache fluxului de Aer

      BI Viz Instrument¶

      • Apache Superset

      Instalare¶

      vă Rugăm să vizitați Instalare ghid despre cum să instalați Amundsen.

      foaie de parcurs¶

      vă rugăm să vizitați foaie de parcurs dacă sunteți interesat în Amundsen elemente viitoare foaie de parcurs.,

      Posturi pe Blog și Interviuri¶

      • Amundsen – Lyft lui descoperire de date & metadate motor (aprilie 2019)
      • Software-ul de Inginerie de zi cu Zi podcast pe Amundsen (aprilie 2019)
      • Cum Lyft Conduce Descoperirea Datelor (iulie 2019)
      • Date Inginerie podcast pe Rezolvarea problemelor de Descoperire a Datelor de La Lyft (August 2019)
      • Open-Sourcing Amundsen: O Descoperire de Date Și Metadate Platforma (Octombrie 2019)
      • Adăugarea de Calitate a Datelor în Amundsen cu Programatic Descrierile de Sam Shuster de la Edmunds.,Peisaj
      • Lyft lui Amundsen: Date-Descoperire cu Built-In de Încredere
      • Cum de a găsi și de a organiza datele de la linia de comandă
      • Date Platforma de Descoperire la Bagelcode
      • Catalogare Instrumente pentru Echipele de Date
      • O imagine de Ansamblu de Descoperire a Datelor de Platforme și Soluții Open Source
      • Date Hacking Descoperire în AWS cu Amundsen la SEEK
      • Un-pas-cu-ghid pas cu pas implementarea Amundsen pe Cloud Platform Google

      întâlniri Comunitare¶

      Comunitatea întâlnirile au loc în prima zi de joi din fiecare lună, la ora 9 Pacific, la Prânz Est, la 6 PM, Ora europei Centrale., Link-ul să se alăture

      întâlniri Viitoare & note¶

      puteți exactă a datei pentru următoarea întâlnire și ordinea de zi câteva săptămâni înainte de reuniunea în acest doc.note de la toate întâlnirile anterioare sunt disponibile aici.

      cine folosește Amundsen?¶

      Iată lista organizațiilor care folosesc Amundsen astăzi. Dacă organizația dvs. utilizează Amundsen, vă rugăm să depuneți un PR și să actualizați această listă.,Bagelcode

    • – Bang-ului & Olufsen
    • Brex
    • Cameo
    • Cimpress Tehnologie
    • Coles Grup
    • Convoi
    • Data Sprinturi
    • Dcard
    • Dedicat Sănătății
    • DHI Grup
    • Edmunds
    • Everfi
    • Gust
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Flash
    • LMC
    • Loft
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Rapid
    • REA de Grup
    • Remitly
    • Metri
    • WeTransfer
    • zi de Lucru

      • Apache 2.,0 Licență.