Amundsen är en dataupptäckt och metadatamotor för att förbättra produktiviteten hos dataanalytiker, Dataforskare och ingenjörer när de interagerar med data. Det gör det idag genom att indexera dataresurser (tabeller, instrumentpaneler, strömmar, etc.) och driva en sidrankningsstilsökning baserad på användningsmönster (t. ex., mycket efterfrågade tabeller visas tidigare än mindre efterfrågade tabeller). Tänk på det som Google Sök efter data. Projektet är uppkallat efter den norska upptäcktsresanden Roald Amundsen, den första personen att upptäcka Sydpolen.

Amundsen är värd för LF AI& data Foundation. Den innehåller tre mikrotjänster, ett dataintagsbibliotek och ett gemensamt bibliotek.

  • amundsenfrontendlibrary: Frontend service som är en kolv ansökan med en React frontend.,
  • amundsensearchlibrary: Search service, som utnyttjar Elasticsearch för sökfunktioner, används för att driva frontend metadatasökning.
  • amundsenmetadatalibrary: Metadatatjänst, som utnyttjar Neo4j eller Apache Atlas som det beständiga skiktet, för att tillhandahålla olika metadata.
  • amundsendatabuilder: data förtäring bibliotek för att bygga metadata graf och Sök index. Användare kan antingen ladda data med ett python-skript med biblioteket eller med ett luftflöde DAG importera biblioteket.,
  • amundsencommon: Amundsen Gemensamma bibliotek har gemensamma koder bland microservices i Amundsen.
  • amundsengremlin: Amundsen Gremlin library innehåller kod som används för att konvertera modellobjekt till hörn och kanter i gremlin. Den används för att ladda data i en AWS Neptunus backend.
  • amundsenrds: Amundsenrds innehåller ORM modeller för att stödja relationsdatabas som metadata backend butik i Amundsen. Schemat i ORM modeller följer logiken i databuilder modeller., Amundsenrds kommer att användas i databuilder och metadatalibrary för metadata lagring och hämtning med relationsdatabaser.

hemsida¶

    dokumentation¶

      krav¶

      • Python = 3.6 eller 3.7
      • Node = V10 eller V12 (v14 kan ha kompatibilitetsproblem)
      • npm>= 6

      användargränssnitt¶

      Observera att mock-bilderna endast fungerade som demonstrationsändamål.

      • målsida: målsidan för Amundsen inklusive 1. sökfält; 2., populära använda tabeller;

      • Search Preview: se inline sökresultat när du skriver

      • tabell detaljsida: visualisering av en bikupa / rödförskjutning tabell

      • kolumn detalj: visualisering av kolumner i en bikupa / rödförskjutning tabell som innehåller en valfri statistik display

      • förhandsgranskning av data: visualisering av tabelldata förhandsgranskning som kan integreras med Apache superset eller andra data visualiseringsverktyg.,

      engagera dig i samhället¶

      vill du ha hjälp eller vill du hjälpa till?Använd knappen i vår rubrik för att gå med i vår slack kanal. Bidrag är också mer än välkomna! Som förklaras i CONTRIBUTING.md det finns många sätt att bidra, det behöver inte alla vara kod med nya funktioner och buggfixar, även dokumentation, som FAQ-poster, felrapporter, blogginlägg som delar erfarenheter etc. alla hjälp flytta Amundsen framåt. Om du hittar en säkerhetsproblem, följ den här guiden.,

      komma igång¶

      besök installationsdokumentationen för Amundsen för en snabb start för att starta upp en standardversion av Amundsen med dummy-data.

      Architecture Overview¶

      besök Architecture for Amundsen architecture overview.

      enheter som stöds¶

      • tabeller (från databaser)
      • människor (från HR – system)
      • instrumentpaneler

      stöds integrationer¶

      tabell kontakter¶

      • Amazon Athena
      • Amazon lim och allt byggt över det (som Databricks Delta-vilket är ett pågående arbete).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (genom dbapi eller sql_alchemy)
      • PostgreSQL
      • snart
      • Vertica
      • Snowflake

      Amundsen kan också ansluta till en databas som ger dbapi eller sql_alchemy gränssnitt (som de flesta DBS tillhandahåller).,

      Instrumentpanelskontakter¶

      • Mode Analytics
      • Redash
      • Tableau

      ETL Orchestration¶

      • Apache luftflöde

      BI Viz verktyg¶

      • Apache Superset

      Installation¶

      besök installationsguide om hur du installerar Amundsen.

      färdplan¶

      besök färdplan om du är intresserad av Amundsen kommande färdplansposter.,

      blogginlägg och intervjuer¶

      • Amundsen – lyfts data discovery & metadata engine (April 2019)
      • Software Engineering Daily podcast on Amundsen (April 2019)
      • hur Lyft Driver data Discovery (juli 2019)
      • Data Engineering podcast on Solving Data Discovery At Lyft (Aug 2019)

        • Open Sourcing Amundsen: a data discovery and metadata Platform (okt 2019)

      • lägga till datakvalitet i Amundsen med programmatiska beskrivningar av Sam Shuster från Edmunds.,Li>
      • lyfts Amundsen: data-Discovery med inbyggt förtroende
      • hur man hittar och organiserar dina data från kommandoraden
      • data Discovery Platform på Bagelcode
      • Katalogiseringsverktyg för datalag
      • En översikt över data Discovery Platforms och Open Source Solutions
      • Hacking data Discovery i AWS med Amundsen på SEEK
      • en steg-för-steg guide som distribuerar Amundsen på Google Cloud Platform

      community meetings¶

      community meetings hålls den första torsdagen i varje månad vid 9 AM Pacific, noon Eastern, 6 PM Central European Time., Länk för att gå med

      kommande möten & anteckningar¶

      Du kan det exakta datumet för nästa möte och agendan några veckor före mötet i detta dokument.

      anteckningar från alla tidigare möten finns här.

      vem använder Amundsen?¶

      här är listan över organisationer som använder Amundsen idag. Om din organisation använder Amundsen, vänligen lämna in en PR och uppdatera den här listan.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Technology
    • Coles Group
    • konvoj
    • datum Sprints
    • Dcard
    • hängiven hälsa
    • Dhi Group
    • Edmunds
    • Everfi
    • smak
    • hurb
    • ing
    • Instacart
    • iRobot
    • flash
    • LMC
    • Loft
    • lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Rapid
    • Rea Group
    • Remitly
    • Square
    • WeTransfer
    • arbetsdag

      • Apache 2.,0 licens.