Technologien und Plattformen

Knowledge Systems und Retrieval

Knowledge Systems verbinden Quellen, Index, Parsing und Retrieval. Diese Bausteine machen Unternehmenswissen auffindbar und adressierbar. Sie sind Teil des Knowledge Layer, nicht Ersatz für Governance und Berechtigungen.

OpenSearch

Open Source Such- und Analyseplattform für Volltext, Aggregationen und skalierbare Abfragen.

Volltext Index und Enterprise Search

Elasticsearch

Weit verbreitete Such- und Analyseengine mit reichem Ökosystem für Indexierung und Observability.

Search und Analytics Layer

Qdrant

Vector Database mit Fokus auf Performance, Filtering und produktionsnahem Betrieb.

Vektor Index für semantisches Retrieval

Weaviate

Vector Database mit Hybrid Search, Modulen und Graph Funktionen.

Hybrid Retrieval und Wissensobjekte

Meilisearch

Schnelle, developer freundliche Suchengine für Anwendungen mit niedriger Latenz.

Anwendungsnahe Suche und Typahead

LlamaIndex

Framework für Daten Connectors, Indexing und RAG Pipelines über heterogene Quellen.

Orchestrierung von Retrieval Pipelines

Haystack

Open Source Framework für NLP Pipelines, QA und produktionsnahe RAG Systeme.

Pipeline Framework für Retrieval und QA

Apache Solr

Enterprise Search Server auf Lucene Basis mit facetierter Suche und Skalierung.

Klassischer Enterprise Volltext Index

Apache Tika

Content Detection und Text Extraktion aus Dokumenten und Binärformaten.

Parsing und Metadaten Extraktion

Unstructured

Pipeline für Dokument Parsing, Chunking und Vorbereitung unstrukturierter Inhalte.

ETL für unstrukturierte Wissensquellen

Cognee

Knowledge Engine für Wissensobjekte, Graph und Memory mit Fokus auf Enterprise Kontext.

Knowledge Runtime und semantische Verknüpfung

Knowledge Runtime und Enterprise Memory

Enterprise Memory braucht mehr als Vektoren. Wissensobjekte, Kontext, Verknüpfung und Wiederverwendung entstehen in einer Runtime Schicht über Retrieval Stores. Cognee verbindet dabei Graph, Memory und semantische Struktur für nutzbare Wissensarchitektur.

Cognee

Knowledge Engine für strukturierte Wissensobjekte, Graph und Memory in Enterprise Projekten.

Zentrale Knowledge Runtime Schicht

Neo4j

Graph Database für Beziehungen zwischen Entitäten, Prozessen und Wissensobjekten.

Knowledge Graph und Verknüpfung

Mem0

Memory Layer für persistenten Kontext und Nutzerbezug in Assistenz Systemen.

Kontext Memory für Assistenten

LlamaIndex

Daten Connectors und Index Abstraktionen für wiederholbare Retrieval Workflows.

Index und Connector Runtime

Haystack

Pipeline Runtime für QA, RAG und dokumentierte Verarbeitungsschritte.

Pipeline Runtime für Wissensfluss

Qdrant

Vektor Store für Embeddings mit Filtering und produktionsnaher Skalierung.

Embedding Store im Memory Stack

LanceDB

Embedded Vector Database für lokale und skalierbare Vektor Workloads.

Leichtgewichtiger Vektor Store

Wissensobjekte, Kontext, Memory, Retrieval und Verknüpfung wirken zusammen. Mehr unter Was ist Enterprise Memory und Was ist ein Knowledge Layer.

Vector Databases und Retrieval Stores

Vector Stores machen Wissen adressierbar. Sie sind Baustein, nicht alleinige Architektur. Grounding, Berechtigungen und Quellenbezug bleiben zentral.

Qdrant

Produktionsnahe Vector Database mit Filtering, Sharding und REST API.

Primärer Vektor Index

LanceDB

Embedded Vector Store für Edge, On Premise und integrierte Workloads.

Lokaler und eingebetteter Vektor Store

Weaviate

Hybrid Search mit Vektoren, Keywords und Modulen.

Hybrid Retrieval Store

Milvus

Skalierbare Open Source Vector Database für große Embedding Mengen.

Skalierbarer Vektor Cluster

pgvector

PostgreSQL Erweiterung für Vektorsuche in relationalen Workloads.

Vektoren in bestehender SQL Landschaft

Wissen adressierbar machen heißt, Embeddings in Architektur einzubetten, nicht nur einen Vector Store zu installieren. Mehr unter Was ist Retrieval.

Datenplattform und Speicherung

Enterprise Knowledge Systems brauchen belastbare Speicherung für Metadaten, Events, strukturierte Fakten und Wissensobjekte. Diese Plattformen ergänzen bestehende ERP, CRM und DMS Landschaften.

PostgreSQL

Relationale Basis für Metadaten, Konfiguration, pgvector und transaktionale Workloads.

System of Record für Metadaten und Vektoren

ClickHouse

Column Store für Analytics, Logs und hochvolumige Abfragen.

Analytics und Event Speicher

DuckDB

Embedded Analytics Engine für lokale Auswertungen und Prototypen.

Lokale Analyse und Exploration

Apache Iceberg

Open Table Format für versionierte, skalierbare Datenseen.

Lakehouse und versionierte Datensätze

MinIO

S3 kompatibler Object Storage für Self Hosted und Private Cloud.

Object Storage für Rohdaten und Artefakte

Redis

In Memory Store für Cache, Queues und Sessionnahe Workloads.

Cache und schnelle Zwischenspeicher

MongoDB

Dokument Store für flexible Schemas und Anwendungsdaten.

Dokument Speicher für App Layer

Neo4j

Graph Speicher für Beziehungen und Enterprise Knowledge Graphs.

Graph Speicher für Verknüpfungen

Streaming und Datenfluss

Daten bewegen statt kopieren. Event Streaming verbindet Quellsysteme mit Index, Memory und Assistenz ohne fragile Batch Ketten.

Apache Kafka

De facto Standard für Event Streaming und Integrationsbackbone.

Event Backbone und Integration

Redpanda

Kafka kompatible Streaming Plattform mit einfacherem Betrieb.

Leichtgewichtiges Event Streaming

Apache Flink

Stream Processing für Echtzeit Transformationen und Stateful Jobs.

Stream Processing und Aggregation

Debezium

Change Data Capture aus relationalen Quellen in Event Streams.

CDC aus ERP und Fachsystemen

Apache Pulsar

Multi Tenant Messaging mit Streaming und Queuing.

Messaging und Event Plattform

Streaming ist Capability für aktuelle Wissenslandschaften, nicht Selbstzweck. Mehr unter Enterprise Knowledge Systems Architektur.

Transformation und Orchestrierung

Pipelines bereiten Quellen für Index, Memory und Assistenz auf. Orchestrierung macht Abhängigkeiten, Retries und Qualität nachvollziehbar.

Apache Airflow

Workflow Orchestrierung für datengetriebene Pipelines.

Batch Orchestrierung

Dagster

Data Orchestrator mit Asset Lineage und Developer Experience.

Asset basierte Pipelines

dbt

SQL basierte Transformationen mit Tests und Dokumentation.

Transformations Layer im Warehouse

Apache Spark

Distributed Processing für große Datenmengen.

Skalierbare Batch und Stream Jobs

Polars

Schnelle DataFrame Engine für lokale und mittelgroße Workloads.

Effiziente lokale Transformation

Prefect

Workflow Engine mit Fokus auf Observability und dynamische Flows.

Moderne Pipeline Orchestrierung

Kestra

Event driven Orchestration mit deklarativen Flows.

Deklarative Workflow Plattform

AI und Inferenz

Inferenz Layer machen Modelle betreibbar. Open Source und kommerzielle Modelle bleiben austauschbar, solange Grounding, Governance und Quellenanbindung stimmen.

vLLM

High Throughput LLM Serving für produktionsnahe Inferenz.

LLM Serving und Batch Inferenz

Ollama

Lokale Modell Runtime für Entwicklung und Self Hosted Workloads.

Lokale Inferenz und Prototypen

LiteLLM

Proxy und Routing für heterogene Modell Anbieter über ein Interface.

Model Routing und Abstraktion

Open WebUI

Weboberfläche für lokale und remote Modell Interaktion.

UI für interne Modell Nutzung

Haystack

RAG und QA Pipelines mit klarer Pipeline Struktur.

RAG Runtime

LangGraph

Graph basierte Agenten und Workflows mit State Management.

Agenten und Workflow Runtime

OpenRouter

Gateway für heterogene kommerzielle und Open Modelle.

Modell Gateway und Routing

Agenten und Automatisierung

Agenten ergänzen Assistenz dort, wo wiederkehrende Schritte klar definiert sind. Governance und Human in the Loop bleiben zentral.

n8n

Workflow Automation mit visueller Orchestrierung und Self Hosting.

Integration und leichte Automatisierung

Temporal

Durable Execution für zuverlässige, langlebige Workflows.

Robuste Prozess Ausführung

Trigger.dev

Background Jobs und Agenten Workflows für Entwicklerteams.

Event getriebene Background Jobs

Flowise

Visueller Builder für LLM Flows und Prototypen.

Prototyping von LLM Flows

LangGraph

Stateful Agenten Graphen für kontrollierte Mehrschritt Prozesse.

Agenten Runtime mit State

CrewAI

Multi Agent Orchestrierung für spezialisierte Rollen.

Multi Agent Koordination

Backend und APIs

Services und APIs verbinden Knowledge Layer, Intelligence Layer und Assistenz. API First Architektur hält Schichten entkoppelt.

FastAPI

Moderne Python API Schicht mit Typisierung und OpenAPI.

REST Services für Wissens APIs

Node.js

Event driven Runtime für I/O intensive Services und BFF Layer.

Service Runtime und Integration

NestJS

Strukturiertes Node Framework für Enterprise APIs.

Modulare API Services

Python

Dominante Sprache für AI, Data und Integrationslogik.

AI und Data Services

TypeScript

Typsichere Entwicklung für APIs und Frontend nahe Services.

Geteilte Typen und Services

GraphQL

Flexible Abfrageschicht für aggregierte Anwendungsdaten.

Flexible Client APIs

tRPC

End to End typsichere APIs für TypeScript Stacks.

Typsichere interne APIs

gRPC

Effizientes RPC für service interne Kommunikation.

Interne Service Kommunikation

Frontend und Experience

Experience Layer macht Wissen und Assistenz nutzbar. Fokus auf Klarheit, Berechtigungen und Quellenbezug, nicht auf Feature Overload.

Next.js

React Framework für performante Web Apps und SSR.

Web App Framework

React

Komponenten basierte UI Bibliothek für Assistenz Oberflächen.

UI Komponenten

Tailwind CSS

Utility CSS für konsistente, wartbare Oberflächen.

Design System Basis

Shadcn UI

Zugängliche Komponenten auf Radix und Tailwind Basis.

UI Komponenten Bibliothek

Vercel

Deployment und Edge Hosting für Frontend Workloads.

Hosting und Preview Deployments

Deployment und Plattform

Enterprise Infrastructure muss reproduzierbar deploybar sein. Container, Kubernetes und Infrastructure as Code sind Standardwerkzeuge, nicht Hype.

Docker

Container Packaging für reproduzierbare Services.

Container Images

Kubernetes

Orchestrierung für skalierbare, resiliente Workloads.

Container Plattform

OpenTofu

Open Source Infrastructure as Code Fork von Terraform.

IaC mit offenem Governance Modell

Terraform

Weit verbreitetes IaC für Cloud und Hybrid Landschaften.

Infrastructure as Code

Helm

Package Manager für Kubernetes Deployments.

K8s Release Management

GitHub Actions

CI/CD für Repositories und Automatisierung.

Continuous Integration

GitLab CI

Integrierte CI/CD in GitLab Umgebungen.

Pipeline Automatisierung

Caddy

Automatisches TLS und Reverse Proxy für Edge Services.

Edge Proxy und TLS

Observability und Qualität

Enterprise AI braucht Messbarkeit. Latenz, Fehler, Kosten und Qualität müssen sichtbar sein, ohne Tool Sprawl.

Prometheus

Metriken Sammlung und Alerting für Services.

Metriken und Alerts

Grafana

Dashboards für Metriken, Logs und Traces.

Visualisierung und Dashboards

OpenTelemetry

Offener Standard für Traces, Metriken und Logs.

Unified Telemetry

Sentry

Error Tracking für Anwendungen und Services.

Fehleranalyse

Loki

Log Aggregation im Grafana Ökosystem.

Log Storage und Abfrage

Jaeger

Distributed Tracing für Microservices und Pipelines.

Trace Analyse

Security und Identity

Security ist Architekturvoraussetzung. Identity, Secrets und Edge Schutz gehören zum Enterprise Betrieb, nicht in ein separates Spätprojekt.

Keycloak

Open Source Identity und Access Management.

SSO und OIDC Provider

Authentik

Flexible Identity Plattform für Self Hosted Szenarien.

Identity Provider

Vault

Secrets Management und dynamische Credentials.

Secrets und Schlüsselverwaltung

Traefik

Cloud native Reverse Proxy und Ingress.

Ingress und Routing

Caddy

Einfacher TLS Terminator und Reverse Proxy.

Edge TLS und Proxy

Dokumente und Content

Unstrukturierte Inhalte sind oft der größte Wissenspool. Parsing, OCR und Normalisierung sind Voraussetzung für belastbares Retrieval.

Apache Tika

Extraktion von Text und Metadaten aus Office, PDF und Binärformaten.

Universal Document Parsing

OCRmyPDF

OCR Pipeline für durchsuchbare PDFs.

PDF OCR und Aufbereitung

Tesseract

Open Source OCR Engine für gescannte Dokumente.

Texterkennung in Scans

Pandoc

Konvertierung zwischen Dokumentformaten.

Format Konvertierung

LibreOffice

Headless Konvertierung und Rendering von Office Dokumenten.

Office Rendering und Export