╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ in <cell line: 3>:3 │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ Dataset = <class 'datasets.arrow_dataset.Dataset'> │ │
│ │ Dict = typing.Dict │ │
│ │ document = [ │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN EN \n \n \n EUROPEAN │ │
│ │ \nCOMMISSION \nBrussels, 21.4.2021 \nCOM(2021) 206 │ │
│ │ final'+308, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 0 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 1 EN EXPLANATORY MEMORANDUM \n1. │ │
│ │ CONTEXT OF THE PROPOSAL \n1.1. Reasons fo'+3873, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 2 EN intelligence as stated by │ │
│ │ the European Council3 and ensures the protect'+4148, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 2 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 3 EN proposal takes into account │ │
│ │ the aforementioned resolution of the Europe'+3626, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 3 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 4 EN 1.2. Consistency with │ │
│ │ existing policy pr ovisions in the policy area \n'+3902, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 4 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 5 EN This proposal is also │ │
│ │ consistent with the applicable Union legislation '+3839, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 5 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 6 EN 2. LEGAL BASIS, │ │
│ │ SUBSIDIARITY AND PROPORTIONALITY \n2.1. Legal │ │
│ │ basi'+3628, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 6 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 7 EN 2.3. Proportionality \nThe │ │
│ │ proposal builds on existing legal frameworks'+3464, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 7 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 8 EN academic/research │ │
│ │ institutions, a nd 73 from public authorities. Civil │ │
│ │ '+3721, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 8 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 9 EN In addition, the AI │ │
│ │ Alliance26 was formed as a platform for approximate'+3401, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 9 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ ... +98 │ │
│ │ ] │ │
│ │ drive = <module 'google.colab.drive' from │ │
│ │ '/usr/local/lib/python3.10/dist-packages/google/colab/driv… │ │
│ │ exit = <IPython.core.autocall.ZMQExitAutocall object at │ │
│ │ 0x7db0dbc37d90> │ │
│ │ get_ipython = <bound method InteractiveShell.get_ipython of │ │
│ │ <google.colab._shell.Shell object at 0x7db0dbc377f0>> │ │
│ │ In = [ │ │
│ │ │ '', │ │
│ │ │ "get_ipython().system('pip install -qU distilabel │ │
│ │ langchain pypdf')", │ │
│ │ │ 'import os\nfrom typing import Dict\nfrom │ │
│ │ distilabel.llms.huggingface import Infere'+120, │ │
│ │ │ 'os.environ["HF_TOKEN"] = │ │
│ │ "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"\nos.environ["HF_'+… │ │
│ │ │ 'from datasets import Dataset\nfrom │ │
│ │ langchain_community.document_loaders import Py'+9, │ │
│ │ │ "from google.colab import │ │
│ │ drive\ndrive.mount('/content/drive')", │ │
│ │ │ 'loader = │ │
│ │ PyPDFLoader("/content/drive/MyDrive/EU_AI_Act_Doc.pdf")\nd… │ │
│ │ = load'+9, │ │
│ │ │ 'print(len(document))', │ │
│ │ │ 'from langchain.text_splitter import │ │
│ │ RecursiveCharacterTextSplitter\nMARKDOWN_SEPA'+318, │ │
│ │ │ 'splits = text_splitter.split_documents(document)', │ │
│ │ │ ... +46 │ │
│ │ ] │ │
│ │ InferenceEndpointsLLM = <class │ │
│ │ 'distilabel.llms.huggingface.inference_endpoints.Inference… │ │
│ │ inputs = [ │ │
│ │ │ { │ │
│ │ │ │ 'question': "What's the second most populated city │ │
│ │ in Denmark?" │ │
│ │ │ } │ │
│ │ ] │ │
│ │ instructions_dataset = Dataset({ │ │
│ │ │ features: ['input'], │ │
│ │ │ num_rows: 50 │ │
│ │ }) │ │
│ │ llm = InferenceEndpointsLLM( │ │
│ │ │ generation_kwargs={}, │ │
│ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ endpoint_name=None, │ │
│ │ │ endpoint_namespace=None, │ │
│ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mist… │ │
│ │ │ api_key=SecretStr('**********'), │ │
│ │ │ tokenizer_id=None, │ │
│ │ │ model_display_name=None, │ │
│ │ │ use_openai_client=False │ │
│ │ ) │ │
│ │ loader = <langchain_community.document_loaders.pdf.PyPDFLoader │ │
│ │ object at 0x7db095942c50> │ │
│ │ MARKDOWN_SEPARATORS = [ │ │
│ │ │ '\n#{1,6} ', │ │
│ │ │ '```\n', │ │
│ │ │ '\n\\*\\*\\*+\n', │ │
│ │ │ '\n---+\n', │ │
│ │ │ '\n___+\n', │ │
│ │ │ '\n\n', │ │
│ │ │ '\n', │ │
│ │ │ ' ', │ │
│ │ │ '' │ │
│ │ ] │ │
│ │ os = <module 'os' from '/usr/lib/python3.10/os.py'> │ │
│ │ Out = { │ │
│ │ │ 10: 'EN 6 EN 2. LEGAL BASIS, SUBSIDIARITY AND │ │
│ │ PROPORTIONALITY \n2.1. Legal basi'+901, │ │
│ │ │ 11: 'EN EN \n \n \n EUROPEAN \nCOMMISSION │ │
│ │ \nBrussels, 21.4.2021 \nCOM(2021) 206 final'+308, │ │
│ │ │ 12: Dataset({ │ │
│ │ │ features: ['input'], │ │
│ │ │ num_rows: 50 │ │
│ │ }), │ │
│ │ │ 31: 'EN 6 EN 2. LEGAL BASIS, SUBSIDIARITY AND │ │
│ │ PROPORTIONALITY \n2.1. Legal basi'+901, │ │
│ │ │ 32: 'EN EN \n \n \n EUROPEAN \nCOMMISSION │ │
│ │ \nBrussels, 21.4.2021 \nCOM(2021) 206 final'+308, │ │
│ │ │ 33: Dataset({ │ │
│ │ │ features: ['input'], │ │
│ │ │ num_rows: 50 │ │
│ │ }), │ │
│ │ │ 47: 'EN 6 EN 2. LEGAL BASIS, SUBSIDIARITY AND │ │
│ │ PROPORTIONALITY \n2.1. Legal basi'+901, │ │
│ │ │ 48: 'EN EN \n \n \n EUROPEAN \nCOMMISSION │ │
│ │ \nBrussels, 21.4.2021 \nCOM(2021) 206 final'+308, │ │
│ │ │ 49: Dataset({ │ │
│ │ │ features: ['input'], │ │
│ │ │ num_rows: 50 │ │
│ │ }) │ │
│ │ } │ │
│ │ Pipeline = <class 'distilabel.pipeline.local.Pipeline'> │ │
│ │ PyPDFLoader = <class │ │
│ │ 'langchain_community.document_loaders.pdf.PyPDFLoader'> │ │
│ │ QuestionAnsweringTask = <class '__main__.QuestionAnsweringTask'> │ │
│ │ quit = <IPython.core.autocall.ZMQExitAutocall object at │ │
│ │ 0x7db0dbc37d90> │ │
│ │ RecursiveCharacterTextSplitter = <class │ │
│ │ 'langchain_text_splitters.character.RecursiveCharacterText… │ │
│ │ SelfInstruct = <class 'distilabel.steps.tasks.self_instruct.SelfInstruct'> │ │
│ │ splits = [ │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN EN \n \n \n EUROPEAN │ │
│ │ \nCOMMISSION \nBrussels, 21.4.2021 \nCOM(2021) 206 │ │
│ │ final'+305, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 0, │ │
│ │ │ │ │ 'start_index': 0 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 1 EN EXPLANATORY MEMORANDUM \n1. │ │
│ │ CONTEXT OF THE PROPOSAL \n1.1. Reasons fo'+875, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1, │ │
│ │ │ │ │ 'start_index': 0 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='elements and techniques that power │ │
│ │ the socio -economic benefits of AI can also b'+877, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1, │ │
│ │ │ │ │ 'start_index': 957 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='to excellence and trust2. The White │ │
│ │ Paper sets out policy options on how to ach'+848, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1, │ │
│ │ │ │ │ 'start_index': 1916 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='of fundamental rights. Following the │ │
│ │ publication of the White Paper, the Commiss'+887, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1, │ │
│ │ │ │ │ 'start_index': 2846 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='2 European Commission, White Paper on │ │
│ │ Artificial Intelligence - A European appro'+55, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 1, │ │
│ │ │ │ │ 'start_index': 3816 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='EN 2 EN intelligence as stated by │ │
│ │ the European Council3 and ensures the protect'+836, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 2, │ │
│ │ │ │ │ 'start_index': 0 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='The most recent Conclusi ons from 21 │ │
│ │ October 2020 further called for addressing'+876, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 2, │ │
│ │ │ │ │ 'start_index': 919 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='resolution includes a text of the │ │
│ │ legislative proposal for a regulation on ethic'+880, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 2, │ │
│ │ │ │ │ 'start_index': 1877 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ Document( │ │
│ │ │ │ page_content='artificial intelligence -Adoption │ │
│ │ 6177/19, 2019. \n7 European Council, Special '+894, │ │
│ │ │ │ metadata={ │ │
│ │ │ │ │ 'source': │ │
│ │ '/content/drive/MyDrive/EU_AI_Act_Doc.pdf', │ │
│ │ │ │ │ 'page': 2, │ │
│ │ │ │ │ 'start_index': 2839 │ │
│ │ │ │ } │ │
│ │ │ ), │ │
│ │ │ ... +372 │ │
│ │ ] │ │
│ │ text_splitter = <langchain_text_splitters.character.RecursiveCharacterText… │ │
│ │ object at 0x7db097424ee0> │ │
│ │ TextGeneration = <class │ │
│ │ 'distilabel.steps.tasks.text_generation.TextGeneration'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/distilabel/llms/huggingface/inference_endpoints.py:407 │
│ in generate │
│ │
│ 404 │ │ │ ] │
│ 405 │ │ │ return [outputs[0] for outputs in await asyncio.gather(*tasks)] │
│ 406 │ │ │
│ ❱ 407 │ │ outputs = self.event_loop.run_until_complete(agenerate(inputs, **kwargs)) │
│ 408 │ │ return list(grouper(outputs, n=num_generations, incomplete="ignore")) │
│ 409 │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ agenerate = <function InferenceEndpointsLLM.generate.<locals>.agenerate at │ │
│ │ 0x7db0973eb1c0> │ │
│ │ inputs = [{'question': "What's the second most populated city in Denmark?"}] │ │
│ │ kwargs = {} │ │
│ │ num_generations = 1 │ │
│ │ self = InferenceEndpointsLLM( │ │
│ │ │ generation_kwargs={}, │ │
│ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ endpoint_name=None, │ │
│ │ │ endpoint_namespace=None, │ │
│ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mistralai/Mistral-7… │ │
│ │ │ api_key=SecretStr('**********'), │ │
│ │ │ tokenizer_id=None, │ │
│ │ │ model_display_name=None, │ │
│ │ │ use_openai_client=False │ │
│ │ ) │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/nest_asyncio.py:98 in run_until_complete │
│ │
│ 95 │ │ │ if not f.done(): │
│ 96 │ │ │ │ raise RuntimeError( │
│ 97 │ │ │ │ │ 'Event loop stopped before Future completed.') │
│ ❱ 98 │ │ │ return f.result() │
│ 99 │ │
│ 100 │ def _run_once(self): │
│ 101 │ │ """ │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ f = <Task finished name='Task-8' │ │
│ │ coro=<InferenceEndpointsLLM.generate.<locals>.agenerate() done, defined at │ │
│ │ /usr/local/lib/python3.10/dist-packages/distilabel/llms/huggingface/inference_… │ │
│ │ exception=1 validation error for agenerate │ │
│ │ input │ │
│ │ Input should be a valid list [type=list_type, input_value={'question': │ │
│ │ "What's the ...lated city in Denmark?"}, input_type=dict] │ │
│ │ │ For further information visit https://errors.pydantic.dev/2.7/v/list_type> │ │
│ │ future = <coroutine object InferenceEndpointsLLM.generate.<locals>.agenerate at │ │
│ │ 0x7db0979c57e0> │ │
│ │ manage_run = <function _patch_loop.<locals>.manage_run at 0x7db0ad7fb010> │ │
│ │ self = <_UnixSelectorEventLoop running=True closed=False debug=False> │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/lib/python3.10/asyncio/futures.py:201 in result │
│ │
│ 198 │ │ │ raise exceptions.InvalidStateError('Result is not ready.') │
│ 199 │ │ self.__log_traceback = False │
│ 200 │ │ if self._exception is not None: │
│ ❱ 201 │ │ │ raise self._exception.with_traceback(self._exception_tb) │
│ 202 │ │ return self._result │
│ 203 │ │
│ 204 │ def exception(self): │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ self = <Task finished name='Task-8' │ │
│ │ coro=<InferenceEndpointsLLM.generate.<locals>.agenerate() done, defined at │ │
│ │ /usr/local/lib/python3.10/dist-packages/distilabel/llms/huggingface/inference_endpoi… │ │
│ │ exception=1 validation error for agenerate │ │
│ │ input │ │
│ │ Input should be a valid list [type=list_type, input_value={'question': "What's the │ │
│ │ ...lated city in Denmark?"}, input_type=dict] │ │
│ │ │ For further information visit https://errors.pydantic.dev/2.7/v/list_type> │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/lib/python3.10/asyncio/tasks.py:232 in __step │
│ │
│ 229 │ │ │ if exc is None: │
│ 230 │ │ │ │ # We use the `send` method directly, because coroutines │
│ 231 │ │ │ │ # don't have `__iter__` and `__next__` methods. │
│ ❱ 232 │ │ │ │ result = coro.send(None) │
│ 233 │ │ │ else: │
│ 234 │ │ │ │ result = coro.throw(exc) │
│ 235 │ │ except StopIteration as exc: │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ coro = <coroutine object InferenceEndpointsLLM.generate.<locals>.agenerate at │ │
│ │ 0x7db0979c57e0> │ │
│ │ self = None │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/distilabel/llms/huggingface/inference_endpoints.py:400 │
│ in agenerate │
│ │
│ 397 │ │ │ inputs: List["ChatType"], **kwargs: Any │
│ 398 │ │ ) -> "GenerateOutput": │
│ 399 │ │ │ """Internal function to parallelize the asynchronous generation of responses │
│ ❱ 400 │ │ │ tasks = [ │
│ 401 │ │ │ │ asyncio.create_task(self.agenerate(input=input, **kwargs)) │
│ 402 │ │ │ │ for input in inputs │
│ 403 │ │ │ │ for _ in range(num_generations) │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ inputs = [{'question': "What's the second most populated city in Denmark?"}] │ │
│ │ kwargs = {} │ │
│ │ num_generations = 1 │ │
│ │ self = InferenceEndpointsLLM( │ │
│ │ │ generation_kwargs={}, │ │
│ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ endpoint_name=None, │ │
│ │ │ endpoint_namespace=None, │ │
│ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mistralai/Mistral-7… │ │
│ │ │ api_key=SecretStr('**********'), │ │
│ │ │ tokenizer_id=None, │ │
│ │ │ model_display_name=None, │ │
│ │ │ use_openai_client=False │ │
│ │ ) │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/distilabel/llms/huggingface/inference_endpoints.py:401 │
│ in <listcomp> │
│ │
│ 398 │ │ ) -> "GenerateOutput": │
│ 399 │ │ │ """Internal function to parallelize the asynchronous generation of responses │
│ 400 │ │ │ tasks = [ │
│ ❱ 401 │ │ │ │ asyncio.create_task(self.agenerate(input=input, **kwargs)) │
│ 402 │ │ │ │ for input in inputs │
│ 403 │ │ │ │ for _ in range(num_generations) │
│ 404 │ │ │ ] │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ .0 = <list_iterator object at 0x7db0957fd210> │ │
│ │ input = {'question': "What's the second most populated city in Denmark?"} │ │
│ │ kwargs = {} │ │
│ │ num_generations = 1 │ │
│ │ self = InferenceEndpointsLLM( │ │
│ │ │ generation_kwargs={}, │ │
│ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ endpoint_name=None, │ │
│ │ │ endpoint_namespace=None, │ │
│ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mistralai/Mistral-7… │ │
│ │ │ api_key=SecretStr('**********'), │ │
│ │ │ tokenizer_id=None, │ │
│ │ │ model_display_name=None, │ │
│ │ │ use_openai_client=False │ │
│ │ ) │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/pydantic/validate_call_decorator.py:59 in │
│ wrapper_function │
│ │
│ 56 │ │ │
│ 57 │ │ @functools.wraps(function) │
│ 58 │ │ def wrapper_function(*args, **kwargs): │
│ ❱ 59 │ │ │ return validate_call_wrapper(*args, **kwargs) │
│ 60 │ │ │
│ 61 │ │ wrapper_function.raw_function = function # type: ignore │
│ 62 │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ args = ( │ │
│ │ │ InferenceEndpointsLLM( │ │
│ │ │ │ generation_kwargs={}, │ │
│ │ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ │ endpoint_name=None, │ │
│ │ │ │ endpoint_namespace=None, │ │
│ │ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mistralai/Mis… │ │
│ │ │ │ api_key=SecretStr('**********'), │ │
│ │ │ │ tokenizer_id=None, │ │
│ │ │ │ model_display_name=None, │ │
│ │ │ │ use_openai_client=False │ │
│ │ │ ), │ │
│ │ ) │ │
│ │ kwargs = { │ │
│ │ │ 'input': { │ │
│ │ │ │ 'question': "What's the second most populated city in │ │
│ │ Denmark?" │ │
│ │ │ } │ │
│ │ } │ │
│ │ validate_call_wrapper = <pydantic._internal._validate_call.ValidateCallWrapper object at │ │
│ │ 0x7db099202a70> │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
│ │
│ /usr/local/lib/python3.10/dist-packages/pydantic/_internal/_validate_call.py:81 in __call__ │
│ │
│ 78 │ │ │ self.__return_pydantic_validator__ = None │
│ 79 │ │
│ 80 │ def __call__(self, *args: Any, **kwargs: Any) -> Any: │
│ ❱ 81 │ │ res = self.__pydantic_validator__.validate_python(pydantic_core.ArgsKwargs(args, │
│ 82 │ │ if self.__return_pydantic_validator__: │
│ 83 │ │ │ return self.__return_pydantic_validator__(res) │
│ 84 │ │ return res │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ args = ( │ │
│ │ │ InferenceEndpointsLLM( │ │
│ │ │ │ generation_kwargs={}, │ │
│ │ │ │ model_id='mistralai/Mistral-7B-Instruct-v0.2', │ │
│ │ │ │ endpoint_name=None, │ │
│ │ │ │ endpoint_namespace=None, │ │
│ │ │ │ │ │
│ │ base_url='https://api-inference.huggingface.co/models/mistralai/Mistral-7B-Instruc… │ │
│ │ │ │ api_key=SecretStr('**********'), │ │
│ │ │ │ tokenizer_id=None, │ │
│ │ │ │ model_display_name=None, │ │
│ │ │ │ use_openai_client=False │ │
│ │ │ ), │ │
│ │ ) │ │
│ │ kwargs = {'input': {'question': "What's the second most populated city in Denmark?"}} │ │
│ │ self = <pydantic._internal._validate_call.ValidateCallWrapper object at 0x7db099202a70> │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
ValidationError: 1 validation error for agenerate
input
Input should be a valid list [type=list_type, input_value={'question': "What's the ...lated city in Denmark?"},
input_type=dict]
For further information visit https://errors.pydantic.dev/2.7/v/list_type