Amundsen è un rilevamento di dati e metadati motore per migliorare la produttività di analisti di dati, dati tecnici e scienziati quando si tratta di interagire con i dati. Lo fa oggi indicizzando le risorse di dati (tabelle, dashboard, flussi, ecc.) e alimentando una ricerca in stile page-rank basata su modelli di utilizzo (ad es., le tabelle altamente interrogate vengono visualizzate prima delle tabelle meno interrogate). Pensate a come Google ricerca di dati. Il progetto prende il nome dall’esploratore norvegese Roald Amundsen, la prima persona a scoprire il Polo Sud.

Amundsen è ospitato dalla LF AI & Data Foundation. Esso comprende tre microservizi, una libreria di ingestione di dati e una libreria comune.

  • amundsenfrontendlibrary: servizio Frontend che è un’applicazione Flask con un frontend React.,
  • amundsensearchlibrary: il servizio di ricerca, che sfrutta Elasticsearch per le funzionalità di ricerca, viene utilizzato per alimentare la ricerca dei metadati del frontend.
  • amundsenmetadatalibrary: servizio di metadati, che sfrutta Neo4j o Apache Atlas come livello persistente, per fornire vari metadati.
  • amundsendatabuilder: libreria di inserimento dati per la creazione di metadati grafico e indice di ricerca. Gli utenti possono caricare i dati con uno script python con la libreria o con un flusso d’aria DAG importando la libreria.,
  • amundsencommon: Amundsen Common library contiene codici comuni tra i microservizi in Amundsen.
  • amundsengremlin: la libreria Amundsen Gremlin contiene il codice utilizzato per convertire gli oggetti modello in vertici e bordi in gremlin. Viene utilizzato per caricare i dati in un backend AWS Neptune.
  • amundsenrds: Amundsenrds contiene modelli ORM per supportare database relazionali come archivio back-end di metadati in Amundsen. Lo schema nei modelli ORM segue la logica dei modelli databuilder., Amundsenrds sarà utilizzato in databuilder e metadatalibrary per l’archiviazione dei metadati e il recupero con database relazionali.

Homepage¶

    Documentazione¶

      Requisiti¶

      • Python = 3.6 o 3.7
      • Node = v10 o v12 (v14 possono avere problemi di compatibilità)
      • npm >= 6

      Interfaccia Utente¶

      si Prega di notare che il finto immagini sono serviti solo come dimostrazione scopo.

      • Pagina di destinazione: La pagina di destinazione per Amundsen incluso 1. barre di ricerca; 2., popolare tabelle utilizzate;

      • Anteprima della Ricerca: Vedere inline risultati di ricerca mentre digitate

      • Dettaglio della Tabella di Pagina: Visualizzazione di un Alveare / Redshift tabella

      • Colonna dettaglio: la Visualizzazione delle colonne di un Alveare / Redshift tabella che include un optional statistiche di visualizzazione

      • Dati Pagina di Anteprima: Visualizzazione dei dati di una tabella di anteprima che potrebbe integrazione con Apache Superset o altri Strumenti di Visualizzazione dei Dati.,

      Partecipa alla Community¶

      Vuoi aiuto o vuoi aiutare?Usa il pulsante nella nostra intestazione per unirti al nostro canale slack. I contributi sono anche più che benvenuti! Come spiegato in CONTRIBUTING.md ci sono molti modi per contribuire, non tutti devono essere codice con nuove funzionalità e correzioni di bug, anche documentazione, come voci FAQ, segnalazioni di bug, post di blog che condividono esperienze ecc. tutti aiutano a far avanzare Amundsen. Se trovi una vulnerabilità di sicurezza, segui questa guida.,

      Guida introduttiva¶

      Si prega di visitare la documentazione di installazione di Amundsen per un rapido avvio di bootstrap di una versione predefinita di Amundsen con dati fittizi.

      Panoramica dell’architettura¶

      Si prega di visitare l’architettura per la panoramica dell’architettura di Amundsen.

      Supportato Entità¶

      • Tabelle (da banche dati)
      • Persone (sistemi HR)
      • Dashboard

      Supportato Integrazioni¶

      Tabella Connettori¶

      • Amazon Athena
      • Amazon Colla e nulla costruito su di esso (come Databricks Delta – che è un work in progress).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (through dbapi or sql_alchemy)
      • PostgreSQL
      • Presto
      • Vertica
      • Snowflake

      Amundsen can also connect to any database that provides dbapi or sql_alchemy interface (which most DBs provide).,

      Dashboard Connettori¶

      • Modalità di Analytics
      • Redash
      • Tableau

      ETL Orchestrazione¶

      • Apache Flusso d’aria

      BI Viz Strumento¶

      • Apache Superset

      Installazione¶

      si Prega di visitare Installazione di linee guida su come installare Amundsen.

      Roadmap¶

      Si prega di visitare Roadmap se siete interessati a Amundsen prossimi elementi roadmap.,

      Post di Blog e Interviste¶

      • Amundsen – Lyft dati scoperta & motore di metadati (aprile 2019)
      • Ingegneria del Software podcast Giornaliero su Amundsen (aprile 2019)
      • Come Lyft Unità di Rilevamento Dati (luglio 2019)
      • Dati Ingegneria podcast sulla soluzione dei Dati Scoperta Lyft (Agosto 2019)
      • l’Open source Amundsen: Una per l’Individuazione dei Dati E dei Metadati Piattaforma (Ottobre 2019)
      • Aggiunta di Dati di Qualità in Amundsen con Programmatico della descrizione di Sam Shuster da Edmunds.,Paesaggio
      • Lyft è Amundsen: Dati Scoperta con Built-In Trust
      • Come trovare e organizzare i dati dalla riga di comando
      • per l’Individuazione dei Dati Piattaforma Bagelcode
      • la Catalogazione di Strumenti per il Data Team
      • Una Panoramica dei Dati di Individuazione di Piattaforme e Soluzioni Open Source
      • Hacking di Rilevamento Dati in AWS con Amundsen a CERCARE
      • Un passo-dal-passo guida per la distribuzione di Amundsen su Google Cloud Platform

      incontri con la Comunità¶

      incontri con la Comunità sono il primo giovedì di ogni mese alle ore 9 del Pacifico, Mezzogiorno Orientale, 6 PM Ora dell’europa Centrale., Link per partecipare

      Prossimi incontri& note¶

      È possibile la data esatta per la prossima riunione e l’ordine del giorno poche settimane prima della riunione in questo documento.

      Le note di tutte le riunioni passate sono disponibili qui.

      Chi usa Amundsen?¶

      Ecco l’elenco delle organizzazioni che utilizzano Amundsen oggi. Se la tua organizzazione utilizza Amundsen, invia un PR e aggiorna questo elenco.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Technology
    • Coles Group
    • Convoy
    • Data Sprints
    • Dcard
    • Devoted Health
    • DHI Group
    • Edmunds
    • Everfi
    • Gusto
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Lett
    • LMC
    • Loft
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Rapido
    • REA Group
    • Remitly
    • Square
    • WeTransfer
    • Workday

      • Apache 2.,0 Licenza.