Zum Inhalt

Hugging Face Inference Model Node#

Verwenden Sie den Hugging Face Inference Model Node, um die Modelle von Hugging Face zu nutzen.

Auf dieser Seite finden Sie die Node-Parameter für den Hugging Face Inference Model Node und Links zu weiteren Ressourcen.

Credentials

Sie finden Authentifizierungsinformationen für diesen Node hier.

Parameter resolution in sub-nodes

Sub-nodes behave differently to other nodes when processing multiple items using an expression.

Most nodes, including root nodes, take any number of items as input, process these items, and output the results. You can use expressions to refer to input items, and the node resolves the expression for each item in turn. For example, given an input of five name values, the expression {{ $json.name }} resolves to each name in turn.

In sub-nodes, the expression always resolves to the first item. For example, given an input of five name values, the expression {{ $json.name }} always resolves to the first name.

Node-Parameter#

  • Modell: Wählen Sie das Modell aus, das zum Generieren der Vervollständigung verwendet werden soll.

Node-Optionen#

  • Benutzerdefinierter Inferenz-Endpunkt: Geben Sie eine benutzerdefinierte Inferenz-Endpunkt-URL ein.
  • Frequenzstrafe: Verwenden Sie diese Option, um die Wahrscheinlichkeit zu steuern, mit der sich das Modell wiederholt. Höhere Werte verringern die Wahrscheinlichkeit, dass sich das Modell wiederholt.
  • Maximale Anzahl an Token: Geben Sie die maximale Anzahl an verwendeten Token ein, die die Vervollständigungslänge festlegt.
  • Präsenzstrafe: Verwenden Sie diese Option, um die Wahrscheinlichkeit zu steuern, mit der das Modell über neue Themen spricht. Höhere Werte erhöhen die Wahrscheinlichkeit, dass das Modell über neue Themen spricht.
  • Sampling-Temperatur: Verwenden Sie diese Option, um die Zufälligkeit des Sampling-Prozesses zu steuern. Eine höhere Temperatur erzeugt ein vielfältigeres Sampling, erhöht aber das Risiko von Halluzinationen.
  • Top K: Geben Sie die Anzahl der Token-Auswahlmöglichkeiten ein, die das Modell zum Generieren des nächsten Tokens verwendet.
  • Top P: Verwenden Sie diese Option, um die Wahrscheinlichkeit festzulegen, die die Vervollständigung verwenden soll. Verwenden Sie einen niedrigeren Wert, um weniger wahrscheinliche Optionen zu ignorieren.

Zugehörige Ressourcen#

Weitere Informationen zum Dienst finden Sie in der Hugging Face Inference Model-Dokumentation von LangChain.

View Localmind Automate's Advanced AI documentation.

AI glossary#

  • completion: Completions are the responses generated by a model like GPT.
  • hallucinations: Hallucination in AI is when an LLM (large language model) mistakenly perceives patterns or objects that don't exist.
  • vector database: A vector database stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.
  • vector store: A vector store, or vector database, stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.