Amundsen egy adat a felfedezés, illetve meta-motor javítása a termelékenységi adatok elemzők, adatok a tudósok, mérnökök, amikor egymásra adatokkal. Ezt ma az adatforrások (táblák, irányítópultok, adatfolyamok stb.) és egy oldalrang stílusú keresés indítása a használati minták alapján (pl., erősen lekérdezett asztalok jelennek meg korábban, mint a kevésbé lekérdezett asztalok). Gondolj rá úgy, mint az adatok Google keresésére. A projektet Roald Amundsen Norvég felfedezőről nevezték el, aki elsőként fedezte fel a Déli-sarkot.

Amundsen házigazdája az LF AI & Adatalapítás. Három mikroszolgáltatást, egy adatgyűjtő könyvtárat és egy közös könyvtárat tartalmaz.

  • amundsenfrontendlibrary: Frontend szolgáltatás, amely egy lombik alkalmazás egy React frontend.,
  • amundsensearchlibrary: Search service, amely kihasználja Elasticsearch keresési képességek, használják a hatalom frontend metaadatok keresése.
  • amundsenmetadatalibrary: metaadatok szolgáltatás, amely kihasználja Neo4j vagy Apache Atlas, mint a perzisztens réteg, hogy a különböző metaadatok.
  • amundsendatabuilder: data consuming library for building metadata graph and search index. A felhasználók vagy betölteni az adatokat egy python script a könyvtár vagy egy Airflow DAG importáló könyvtár.,
  • amundsencommon: Amundsen Common library közös kódokat tartalmaz Amundsen mikroszolgáltatásai között.
  • amundsengremlin: Amundsen Gremlin library tartja kód átalakítására használt modell objektumok csúcsok és élek gremlin. Az adatok egy AWS Neptune backendbe történő betöltésére szolgál.
  • amundsenrds: Amundsenrds tartalmaz ORM modellek támogatása relációs adatbázis metaadatok backend store Amundsen. Az ORM modellek sémája a databuilder modellek logikáját követi., Amundsenrds fogják használni databuilder és metadatalibrary metaadatok tárolására és visszakeresésére relációs adatbázisok.

Kezdőlap¶

    dokumentáció¶

      követelmények¶

      • Python = 3.6 vagy 3.7
      • Node = V10 vagy v12 (v14 kompatibilitási problémái lehetnek)
      • NPM >= 6

      felhasználói felület¶

      Felhívjuk figyelmét, hogy az álképek csak demonstrációs célként szolgáltak.

      • Céloldal: a céloldal Amundsen beleértve 1. keresősávok; 2., népszerű használt táblázatok;

      • Keresés Előnézeti: Lásd inline keresési eredmények ahogy írja

      • Táblázat Részletek az Oldalon: Megjelenítés a Kaptár / Vöröseltolódás táblázat

      • Oszlop részlet: Vizualizáció oszlopok egy Kaptár / Vöröseltolódás táblázat, amely tartalmaz egy opcionális statisztika megjelenítése

      • Adatok Előnézeti Oldalon: Képi megjelenítés az asztalon adatok előnézete, amely integrálja a Apache Tartalmazó, vagy egyéb olyan Adatok, Vizualizációs Eszközök.,

      vegyen részt a közösségben¶

      segítségre van szüksége, vagy segíteni akar?Használja a fejlécben lévő gombot, hogy csatlakozzon a laza csatornánkhoz. Hozzájárulások is több, mint szívesen! Amint az CONTRIBUTING.md számos módja van, hogy hozzájáruljon, ez nem minden kell kód új funkciók, hibajavítások, továbbá dokumentáció, mint a GYIK bejegyzések, hibajelentések, blogbejegyzések megosztási tapasztalatok stb. minden segítséget mozgatni Amundsen előre. Ha biztonsági rést talál, kérjük, kövesse ezt az útmutatót.,

      az első lépések¶

      kérjük, látogasson el az Amundsen telepítési dokumentációjába, hogy gyorsan elindítsa az Amundsen alapértelmezett verzióját dummy adatokkal.

      architektúra áttekintés¶

      kérjük, látogasson el az építészetre az Amundsen architektúra áttekintéséhez.

      támogatott entitások¶

      • táblázatok (adatbázisokból)
      • emberek (HR rendszerekből)
      • irányítópultok

      támogatott integrációk¶

      asztali csatlakozók¶

      • Amazon Athena
      • Amazon ragasztó és bármi, ami rajta épül (mint Databricks Delta-ami folyamatban lévő munka).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV

        • Delta Lake

      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (dbapi vagy sql_alchemy)
      • PostgreSQL
      • soon
      • Vertica

      Amundsen is csatlakozhat bármely adatbázishoz, amelydbapivagysql_alchemy interface (amelyet a legtöbb DBS biztosít).,

      műszerfal csatlakozók¶

      • Mode Analytics
      • Redash
      • Tableau

      ETL Orchestration¶

      • Apache Airflow

      BI Viz Tool¶

      • Apache Superset

    Installation¶

    kérjük, látogasson el a telepítési útmutató, hogyan kell telepíteni Amundsen.

    ütemterv¶

    kérjük, látogasson el az ütemtervre, ha érdekli az Amundsen közelgő ütemterv elemei.,

    Blog Hozzászólások Interjúk ś

    • Amundsen – Lyft adatok felfedezés & metaadatok motor (április 2019)
    • Software Engineering Napi podcast Amundsen (április 2019)
    • Hogyan Lyft Vezet Adatok Discovery (július 2019)
    • Műszaki Adatok podcast Megoldása Adatok Felfedezés Lyft (Aug 2019)
    • Megnyitás Beszerzés Amundsen: Egy Adat a Felfedezés, Illetve meta-Platform (Október 2019)
    • Adatok Hozzáadása Minőség Amundsen a Programadó Leírások által Sam Shuster a Edmunds.,Táj
    • Lyft van Amundsen: Adatok-Felfedezés, Beépített Bizalom
    • Hogyan kell találni, megszervezni az adatokat a parancssori
    • Adatok Felfedezés Platform a Bagelcode
    • Katalogizálás Eszközök Adatok Csapatok
    • Áttekintést Adatok Felfedezés Platformok, valamint a Nyílt Forráskódú Megoldások
    • Hacker Adatok Felfedezés AWS a Amundsen a SEEK
    • Egy step-by-step guide bevetni Amundsen a Google Cloud Platform

    Közösségi találkozók ś

    Közösségi értekezletek, az első csütörtök minden hónap 9-kor Csendes-óceáni, Délben Kelet, este 6 Közép-Európai Idő., Link a csatlakozáshoz

    közelgő találkozók & megjegyzések¶

    a következő találkozó pontos dátumát és a napirendet néhány héttel az ülés előtt ebben a dokumentumban találhatja meg.

    az összes korábbi találkozó jegyzetei itt érhetők el.

    ki használja az Amundsen-t?¶

    itt található az Amundsen-t használó szervezetek listája. Ha szervezete Amundsen-t használ, kérjük, nyújtson be egy PR-t és frissítse ezt a listát.,Bagelcode

  • Bang & Olufsen
  • Brex
  • Cameo
  • Cimpress Technológia
  • Coles Csoport
  • Konvoj
  • Dátum Sprint
  • Dcard
  • Odaadó Egészségügyi
  • DHI Csoport
  • Edmunds
  • Everfi
  • Íze
  • Hurb
  • ZIK
  • Instacart
  • iRobot
  • a Flash
  • LMC
  • Loft
  • Lyft
  • Merlin
  • PicPay
  • Plarium Krasznodar
  • PUBG
  • Gyors
  • REA Csoport
  • Remitly
  • Négyzetméter
  • WeTransfer
  • Munkanap

    • az Apache 2.,0 Engedély.