Amundsen er en data discovery og metadata motor for å forbedre produktiviteten av data analytikere, data forskere og ingeniører når du arbeider med data. Det gjør at du i dag ved indeksering data ressurser (tabeller, oversikter, bekker, etc.) og slår en side rang stil søk basert på bruksmønster (f.eks., svært spørres tabellene viser opp tidligere enn mindre spørres tabeller). Tenk på det som Google-søk for data. Prosjektet er oppkalt etter en norsk explorer Roald Amundsen den første personen til å oppdage Sydpolen.

Amundsen er arrangert av LF AI & Data Grunnlaget. Det inkluderer tre microservices, en data inntak bibliotek og ett felles bibliotek.

  • amundsenfrontendlibrary: Frontend-tjenesten som er en Kolbe program med en Reagerer frontend.,
  • amundsensearchlibrary: Search-tjenesten, som utnytter Elasticsearch for søk evner brukes til å drive frontend metadata søker.
  • amundsenmetadatalibrary: Metadata-service, som utnytter Neo4j eller Apache Atlas som vedvarende lag, å gi ulike metadata.
  • amundsendatabuilder: Data inntak bibliotek for å bygge metadata grafen og søk indeks. Brukere kan enten laste dataene med et python-skript med biblioteket eller med en Luftstrøm DAG importerer biblioteket.,
  • amundsencommon: Amundsen Felles bibliotek har felles koder blant microservices i Amundsen.
  • amundsengremlin: Amundsen Gremlin biblioteket holder kode som kan brukes for å konvertere modell objekter inn i hjørner og kanter i gremlin. Det brukes for å laste dataene inn i en AWS Neptun backend.
  • amundsenrds: Amundsenrds inneholder ORM modeller for å støtte relasjonsdatabase som metadata backend-butikken i Amundsen. Skjemaet i ORM modeller følger logikken i databuilder modeller., Amundsenrds vil bli brukt i databuilder og metadatalibrary for metadata lagring og gjenfinning med relasjonsdatabaser.

Hjemmeside¶

    Dokumentasjon¶

      Krav¶

      • Python = 3.6, eller 3,7
      • Node = v10 eller v12 (v14 kan ha problemer med programkompatibilitet)
      • npm >= 6

      Brukergrensesnitt¶

      Vær oppmerksom på at mock bilder bare fungerte som demonstrasjon hensikt.

      • Landing Side: destinasjonssiden for Amundsen inkludert 1. søk barer; 2., populære tabeller;

      • Søk Forhåndsvisning: Se inline søkeresultater mens du skriver

      • Tabell Detalj Siden: Visualisering av en Bikube / «Rødforskyvning» table

      • Kolonne detalj: Visualisering av kolonner i en Bikube / «Rødforskyvning» tabell som inneholder en valgfri statistikk viser

      • Data Forhåndsvisning Side: Visualisering av tabellen data forhåndsvisning, som kan integreres med Apache Supersett eller andre Data Visualisering Verktøy.,

      Bli med i Fellesskapet¶

      Ønsker du hjelp eller ønsker du å hjelpe?Bruk knappen i vår overskrift for å delta i vår slakk kanal. Bidrag er også mer enn velkommen! Som forklart i å BIDRA.md det finnes mange måter å bidra, betyr det ikke alle trenger å være koden med nye funksjoner og feilrettinger, også dokumentasjon, som FAQ oppføringer, feilrapporter, blogginnlegg dele erfaringer osv. alle bidra til å flytte Amundsen fremover. Hvis du finner et sikkerhetsproblem, kan du følge denne guiden.,

      Komme i Gang¶

      Vennligst besøk Amundsen installasjon dokumentasjon for en rask start til bootstrap en standard versjon av Amundsen med dummy-data.

      Arkitektur Oversikt¶

      Vennligst besøk Arkitektur for Amundsen arkitektur oversikt.

      Støttede Enheter¶

      • Tabeller (fra Databaser)
      • Personer (fra HR-systemer)
      • Dashbord

      Støttes Integrasjoner¶

      Tabell Kontakter¶

      • Amazon Athena
      • Amazon Lim og alt bygget over det (som Databricks Delta – som er et work in progress).,
      • Amazon «Rødforskyvning»
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (gjennom dbapi eller sql_alchemy)
      • PostgreSQL
      • Snart
      • Vertica
      • Snowflake

      Amundsen kan også koble til en database som inneholder dbapi eller sql_alchemy grensesnitt (som de fleste DBs gi).,

      Dashbord-Kontakter¶

      • Modus Analytics
      • Redash
      • Tableau

      ETL Orkestrering¶

      • Apache Luftstrømmen

      BI Nemlig Verktøyet¶

      • Apache Supersett

      Installasjon¶

      Vennligst besøk Installasjon retningslinje på hvordan du installerer Amundsen.

      Veikart¶

      Vennligst besøk Veikart hvis du er interessert i Amundsen kommende veikart elementer.,

      Blogg Innlegg og Intervjuer¶

      • Amundsen – Lyft data discovery & metadata motor (April 2019)
      • Software Engineering Daglig podcast på Amundsen (April 2019)
      • Hvordan Lyft Stasjoner Data Discovery (juli 2019)
      • Data Engineering podcast på å Løse Data Funn På Lyft (August 2019)
      • Åpne Sourcing Amundsen: En Data Discovery Og Metadata Platform (Oktober 2019)
      • for å Legge til Data Quality inn Amundsen med Programmatiske Beskrivelser av Sam Shuster fra Edmunds.,Landskapet
      • Lyft er Amundsen: Data-Oppdagelse med Innebygd Tillit
      • Hvordan å finne og organisere data fra kommando-linjen
      • Data Discovery Plattform på Bagelcode
      • Katalogisering Verktøy for Data Team
      • En Oversikt over Data Discovery Plattformer og Open Source Løsninger
      • Hacking Data Funnet i AWS med Amundsen på SØK
      • En steg-for-steg guide distribusjon av Amundsen på Google Cloud Plattform

      Samfunnet møter¶

      Samfunnet møter holdes på de første torsdag i hver måned kl 9 AM-Stillehavet, Middag Øst, 6 PM sentraleuropeisk Tid., Link til å bli med

      Kommende møter & notater¶

      Du kan nøyaktig dato for neste møte og dagsorden et par uker før møtet i denne dok.

      Notater fra alle tidligere møter er tilgjengelig her.

      Som bruker Amundsen?¶

      Her er listen over organisasjoner som bruker Amundsen i dag. Hvis organisasjonen bruker Amundsen, vennligst send en PR og oppdatere denne listen.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Teknologi
    • Coles Gruppe
    • Konvoi
    • Dato Spurter
    • Dcard
    • Viet Helse
    • DHI Gruppe
    • Edmunds
    • Everfi
    • Smak
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Flash
    • LMC
    • Loft
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Rapid
    • REA Gruppe
    • Remitly
    • Square
    • WeTransfer
    • Arbeidsdagen

      • Apache 2.,0 Lisens.