Amundsen je objev dat a metadat motoru pro zvýšení produktivity data analytiků, datové vědci a inženýři při interakci s daty. Dělá to dnes indexováním datových zdrojů (Tabulky, dashboardy, streamy atd.) a zapnutí vyhledávání stylu Page-rank na základě vzorů použití (např., vysoce dotazované tabulky se zobrazují dříve než méně dotazované tabulky). Ber to jako vyhledávání dat Google. Projekt je pojmenován podle norského Průzkumníka Roalda Amundsena, prvního člověka, který objevil jižní pól.

Amundsen je hostitelem LF AI & Data Založení. Obsahuje tři mikroslužby, jednu knihovnu dat a jednu společnou knihovnu.

  • amundsenfrontendlibrary: Frontend service, což je baňková aplikace s Frontendem React.,
  • amundsensearchlibrary: vyhledávací služba, která využívá Elasticsearch pro vyhledávací funkce, se používá k napájení vyhledávání metadat frontend.
  • amundsenmetadatalibrary: Metadata služby, které využívá Neo4j nebo Apache Atlas jako perzistentní vrstvy, poskytovat různé metadata.
  • amundsendatabuilder: knihovna požití dat pro vytváření grafu metadat a indexu vyhledávání. Uživatelé mohli buď načíst data pomocí skriptu python s knihovnou nebo pomocí DAG airflow importující knihovnu.,
  • amundsencommon: Amundsen Common library má společné kódy mezi mikroslužbami v Amundsenu.
  • amundsengremlin: knihovna Amundsen Gremlin obsahuje kód používaný pro konverzi modelových objektů na vrcholy a hrany v gremlinu. Používá se pro načítání dat do backendu AWS Neptun.
  • amundsenrds: Amundsenrds obsahuje ORM modelů na podporu relační databáze jako metadata backend obchodu v Amundsen. Schéma v modelech ORM se řídí logikou databuilderových modelů., Amundsenrds budou použity v databuilder a metadatalibrary pro ukládání metadat a vyhledávání pomocí relačních databází.

Homepage¶

    Dokumentace¶

      Požadavky¶

      • Python = 3.6 nebo 3.7
      • Uzel = v10 nebo v12 (v14 mohou mít problémy s kompatibilitou)
      • npm >= 6

      Uživatelské Rozhraní¶

      vezměte Prosím na vědomí, že falešné obrázky sloužily pouze jako demonstrační účely.

      • vstupní stránka: vstupní stránka pro Amundsen včetně 1. vyhledávací lišty; 2., populární použity tabulky;

      • Vyhledávání Preview: Viz inline výsledky hledání, jak píšete,

      • Tabulka Detail Stránky: Vizualizace Úl / rudý posuv stolu

      • Sloupec detail: Vizualizace sloupce Úl / rudý posuv stolu, který zahrnuje volitelné statistiky zobrazení

      • Data Náhled Stránky: Vizualizace dat tabulky preview, které by mohlo integrovat s Apache Nadmnožina nebo jiných Dat Vizualizační Nástroje.,

      Zapojte se do komunity¶

      Chcete pomoc nebo chcete pomoci?Pomocí tlačítka v naší hlavičce se připojte k našemu slack kanálu. Příspěvky jsou také více než vítány! Jak je vysvětleno v CONTRIBUTING.md existuje mnoho způsobů, jak přispět, nemusí to být kód s novými funkcemi a opravami chyb, také dokumentace, jako jsou položky FAQ, zprávy o chybách, blogové příspěvky sdílení zkušeností atd. všichni pomáhají posunout Amundsena dopředu. Pokud zjistíte chybu zabezpečení, postupujte podle této příručky.,

      Začínáme

      navštivte instalační dokumentaci Amundsen pro rychlý začátek bootstrap výchozí verzi Amundsen s fiktivními daty.

      přehled architektury¶

      navštivte prosím architekturu pro přehled architektury Amundsen.

      Podporované Subjekty,¶

      • Tabulek (z Databází)
      • Lidé (HR systémy)
      • Panely dashboard

      Podporované Integrace¶

      Tabulka Konektory¶

      • Amazon Athény
      • Amazon Lepidlo a cokoliv nad tím (jako Databricks Delta – což je práce v pokroku).,
      • Amazon rudý posuv
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Jezero
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (přes dbapi nebo sql_alchemy)
      • PostgreSQL
      • Hned
      • Vertica
      • sněhová Vločka

      Amundsen lze také připojit k jakékoli databázi, která poskytuje dbapi nebo sql_alchemy rozhraní (což většina DBs poskytovat).,

      Palubní deska Konektory¶

      • Režim Analytics
      • Redash
      • Tablo

      ETL Orchestrace¶

      • Apache proudění Vzduchu

      BI, Viz Nástroj¶

      • Apache Nadmnožinou

      Instalace¶

      Prosím, navštivte Instalační návod jak nainstalovat Amundsen.

      Roadmap¶

      Pokud máte zájem o nadcházející položky plánu Amundsen, navštivte prosím Roadmap.,

      Blog Příspěvky a Rozhovory¶

      • Amundsen – Lyft objev dat & metadata motoru (duben 2019)
      • Softwarové Inženýrství Denní podcast na Amundsen (duben 2019)
      • Jak Lyft Disky Data Discovery (červenec 2019)
      • technické Údaje podcast na Řešení Objev Dat Na Lyft (Srpen 2019)
      • Open source Amundsen: Objev Dat A Metadata Platform (Říjen 2019)
      • Přidávání Dat Kvality do Amundsen s Programové Popisy Sam Shuster z Edmunds.,Krajiny
      • Lyft Amundsen: Data-Objev s Vestavěným-In Důvěra
      • Jak najít a organizovat vaše data z příkazového řádku
      • Data Objev Platforma, na Bagelcode
      • Katalogizace Nástroje pro Datové Týmy
      • Přehled Údajů Discovery Platformy a Open Source Řešení
      • Hacking Objev Dat v AWS s Amundsen na HLEDAT
      • krok-Za-krok průvodce nasazením Amundsen na Google Cloud Platform

      Komunitní setkání,¶

      Společenství schůzky se konají každý první čtvrtek v měsíci v 9 HODIN Pacifiku, v Poledne Východní, 6 HODIN středoevropského Času., Odkaz se připojit

      nadcházející schůzky & poznámky¶

      přesné datum další schůzky a agendy můžete několik týdnů před zasedáním v tomto dokumentu.

      poznámky ze všech minulých schůzek jsou k dispozici zde.

      kdo používá Amundsen?¶

      zde je seznam organizací, které dnes používají Amundsen. Pokud vaše organizace používá Amundsen, zadejte prosím PR a aktualizujte tento seznam.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Technologie
    • Coles Group
    • Konvoj
    • Datum Sprinty
    • Dcard
    • Věnovaných Zdraví
    • DHI Group
    • Edmunds
    • Everfi
    • Chuť
    • Hurb
    • ING.
    • Instacart
    • iRobot
    • Flash
    • LMC
    • Podkroví
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Rychlé
    • REA Skupiny
    • Remitly
    • Druhá
    • WeTransfer
    • Den

      • Apache 2.,0 Licence.