Amundsen er en data opdagelse og metadata motor til at forbedre produktiviteten af data analytikere, data forskere og ingeniører, når de vekselvirker med data. Det gør det i dag ved at indeksere dataressourcer (tabeller, dashboards, vandløb osv. en side-rank stil søgning baseret på brugsmønstre (f. eks, meget forespurgte tabeller vises tidligere end mindre forespurgte tabeller). Tænk på det som Google-søgning efter data. Projektet er opkaldt efter den norske opdagelsesrejsende Roald Amundsen, den første person, der opdager Sydpolen.

Amundsen er vært ved LF AI & Data Foundation. Det omfatter tre mikroservices, en data indtagelse bibliotek og et fælles bibliotek.amundsenfrontendlibrary: Frontend service, som er en kolbe ansøgning med en React frontend.,

  • amundsensearchlibrary: Søg service, som udnytter Elasticsearch for søgemuligheder, bruges til at drive frontend-metadata-søgning.
  • amundsenmetadatalibrary: Metadata service, som udnytter Neo4j eller Apache Atlas som vedvarende lag, for at give forskellige metadata.
  • amundsendatabuilder: dataindtagsbibliotek til opbygning af metadatagraf og søgeindeks. Brugere kan enten indlæse data med en python script med biblioteket eller med en luftstrøm DAG importerer biblioteket.,
  • amundsencommon: Amundsen Common library har fælles koder blandt mikroservices i Amundsen.
  • amundsengremlin: Amundsen Gremlin bibliotek indeholder kode, der bruges til at konvertere modelobjekter til hjørner og kanter i gremlin. Det bruges til at indlæse data i en A .s Neptune backend.
  • amundsenrds: Amundsenrds indeholder ORM-modeller til understøttelse af relationsdatabase som metadata-backend-butik i Amundsen. Skemaet i ORM modeller følger logikken i databuilder modeller., Amundsenrds vil blive brugt i databuilder og metadatalibrary til metadata opbevaring og hentning med relationelle databaser.

    • Hjemmeside¶

      Dokumentation¶

        Krav¶

        • Python = 3.6 eller 3,7
        • Node = v10 eller v12 (v14 kan have kompatibilitetsproblemer)
        • npm >= 6

        Brugergrænseflade¶

        bemærk, at mock-billeder kun har tjent som demonstrations formål.

        • destinationsside: landingssiden for Amundsen herunder 1. søg barer; 2., populære anvendte tabeller;

        • Søg Preview: Se inline søgeresultater, mens du indtaster

        • Tabel Detaljer Side: Visualisering af et Bistade / Rødforskydning tabel

        • Kolonne detaljer: Visualisering af kolonner i en Hive / Rødforskydning tabel, som indeholder en valgfri statistik display

        • Data Preview Side: Visualisering af tabel data preview, som kan integrere med Apache Superset eller andre Data Visualisering Værktøjer.,

        Bliv involveret i samfundet <

        vil du have hjælp eller vil du hjælpe?Brug knappen i vores overskrift til at deltage i vores slack-kanal. Bidrag er også mere end velkomne! Som forklaret i CONTRIBUTING.md der er mange måder at bidrage på, det behøver ikke alle at være kode med nye funktioner og fejlrettelser, også dokumentation, som FA. – poster, fejlrapporter, blogindlæg, der deler erfaringer osv. alle hjælper med at flytte Amundsen fremad. Hvis du finder en sikkerhedssårbarhed, skal du følge denne vejledning.,

        Kom godt i gang <

        besøg Amundsen-installationsdokumentationen for en hurtig start på at starte en standardversion af Amundsen med dummy data.

        Arkitektur Oversigt¶

        Du besøge Arkitektur for Amundsen arkitektur oversigt.

        Understøttede Enheder¶

        • Tabeller (fra Databaser)
        • Mennesker (fra HR-systemer)
        • Dashboards

        Støttet Integrationer¶

        Tabel Stik¶

        • Amazon Athena
        • Amazon Lim og noget, der er bygget over det (ligesom Databricks Delta – der er et arbejde i gang).,
        • Amazon Rødforskydning
        • Apache Cassandra
        • Apache Druid
        • Apache Hive
        • CSV
        • Delta Sø
        • Google BigQuery
        • IBM DB2
        • Microsoft SQL Server
        • MySQL
        • Oracle (gennem dbapi eller sql_alchemy)
        • PostgreSQL
        • Hurtigt
        • Vertica
        • Snefnug

        Amundsen kan også oprette forbindelse til en database, der indeholder dbapi eller sql_alchemy interface (som de fleste DBs give).,

        Instrumentbræt Stik¶

        • Mode Analytics
        • Redash
        • Tableau

        ETL Orkestrering¶

        • Apache Luftmængde

        BI Dvs Værktøj¶

        • Apache Overordnet

        Installation¶

        Du besøge Installation retningslinje om, hvordan du installerer Amundsen.

        Roadmap <

        besøg venligst Roadmap, hvis du er interesseret i Amundsen kommende roadmap-emner.,

        Blog-Indlæg og Interviews¶

        • Amundsen – Lyft data discovery & metadata-motor (April 2019)
        • Software Engineering Daglig podcast på Amundsen (April 2019)
        • Hvordan Lyft Drev Data Discovery (juli 2019)
        • Data Engineering podcast på at Løse Data Opdagelse På Lyft (Aug 2019)
        • Open Sourcing Amundsen: En Data Opdagelse Og Metadata Platform (Okt 2019)
        • Tilføje Kvaliteten af Data i Amundsen med Programmatisk Beskrivelser af Sam Shuster fra Edmunds.,Landskab
        • Lyft er Amundsen: Data-Opdagelse med Indbygget Tillid
        • Hvordan til at finde og organisere dine data fra en kommando-linje
        • Data Opdagelse Platform på Bagelcode
        • Katalogisering Værktøjer til Data-Hold
        • En Oversigt over Data Opdagelse Platforme og Open Source-Løsninger
        • Hacking Data Opdagelse i AWS med Amundsen på SØG
        • En trin-for-trin guide implementering Amundsen om Google Cloud Platform

        Fællesskabet møder¶

        Fællesskabet møder afholdes den første torsdag i hver måned kl 9 AM Pacific, Middag Østlige, 6 PM Central Europæisk Tid., Link til at deltage

        kommende møder & noter <

        Du kan den nøjagtige dato for det næste møde og dagsordenen et par uger før mødet i dette dokument.noter fra alle tidligere møder er tilgængelige her.

        Hvem bruger Amundsen?<

        Her er listen over organisationer, der bruger Amundsen i dag. Hvis din organisation bruger Amundsen, skal du indsende en PR og opdatere denne liste.,Bagelcode

      • Bang & O
      • Brex
      • Cameo
      • Cimpress Teknologi
      • Coles-Gruppen
      • Konvoj
      • Dato Sprints
      • Dcard
      • Viet Sundhed
      • DHI-Gruppen
      • Edmunds
      • Everfi
      • Smag
      • Hurb
      • ING
      • Instacart
      • iRobot
      • Flash
      • LMC
      • Loft
      • Lyft
      • Merlin
      • PicPay
      • Plarium Krasnodar
      • PUBG
      • Hurtigt
      • REA-Gruppen
      • Remitly
      • Square
      • WeTransfer
      • Arbejdsdag

        • Apache 2.,0 Licens.