Ollama Chat Model Node#

Der Ollama Chat Model Node ermöglicht die Verwendung lokaler Llama 2-Modelle mit Konversationsagenten.

Auf dieser Seite finden Sie die Node-Parameter für den Ollama Chat Model Node sowie Links zu weiteren Ressourcen.

Credentials

Authentifizierungsinformationen für diesen Node finden Sie hier.

Parameter resolution in sub-nodes

Sub-nodes behave differently to other nodes when processing multiple items using an expression.

Most nodes, including root nodes, take any number of items as input, process these items, and output the results. You can use expressions to refer to input items, and the node resolves the expression for each item in turn. For example, given an input of five name values, the expression {{ $json.name }} resolves to each name in turn.

In sub-nodes, the expression always resolves to the first item. For example, given an input of five name values, the expression {{ $json.name }} always resolves to the first name.

Node-Parameter#

Model: Wählen Sie das Modell aus, das die Vervollständigung generiert. Wählen Sie aus:
- Llama2
- Llama2 13B
- Llama2 70B
- Llama2 Uncensored

Weitere Informationen zu verfügbaren Modellen finden Sie in der Ollama Models Library documentation.

Node-Optionen#

Sampling Temperature: Verwenden Sie diese Option, um die Zufälligkeit des Sampling-Prozesses zu steuern. Eine höhere Temperatur erzeugt vielfältigere Stichproben, erhöht aber das Risiko von Halluzinationen.
Top K: Geben Sie die Anzahl der Token-Auswahlen ein, die das Modell verwendet, um das nächste Token zu generieren.
Top P: Verwenden Sie diese Option, um die Wahrscheinlichkeit festzulegen, die die Vervollständigung verwenden soll. Verwenden Sie einen niedrigeren Wert, um weniger wahrscheinliche Optionen zu ignorieren.

Häufige Probleme#

Häufig gestellte Fragen oder Probleme und Lösungsvorschläge finden Sie unter Häufige Probleme.

AI glossary#

completion: Completions are the responses generated by a model like GPT.
hallucinations: Hallucination in AI is when an LLM (large language model) mistakenly perceives patterns or objects that don't exist.
vector database: A vector database stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.
vector store: A vector store, or vector database, stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.