Error Line 196 about cnpj-sqlite HOT 24 CLOSED

Eu alterei o código recentemente para usar apenas o sqlite3. Eu testei usando python 3.11, mas suponho que deva funcionar ao menos em python 3.10. Talvez se a versão do python for muito antiga, a biblioteca sqlite3 não suporte o Drop. Então sugiro vc criar um ambiente virtual com python 3.11.

from cnpj-sqlite.

Ok vou testar @rictom obrigado

from cnpj-sqlite.

@rictom consegui e já importei no mariaDB, mas tem um novo arquivo de cnae python, me explica como funciona ou atualizar o readme.md, tem como fazendo favor?

from cnpj-sqlite.

Olá @fredroo
O script dados_cnpj_cnae_secundaria.py foi atualizado.

from cnpj-sqlite.

@rictom será que está usado muita memória, pois meu computador tem 32GB de ram

from cnpj-sqlite.

O meu computador em Windows tem 16GB e funcionou. O pandas está atualizado?
Por curiosidade, qual ambiente que vc está usando?? Por que tem esse MINGW64 na linha?

from cnpj-sqlite.

@rictom dá um olhada, erro diferente agora
\pandas\io\sql.py", line 2554, in _execute
_insert_multi
conn.execute(self.insert_statement(num_rows=len(data_list)), flattened_data)
sqlite3.OperationalError: too many SQL variables

git bash for windows

aqui tá usando mais de 16gb

from cnpj-sqlite.

Eu não sei se é o caso. Acho que biblioteca sqlite3 usa o disco principal C: para criar arquivos temporários. Então se vc não tive muito espaço no C:, mesmo que você esteja usando um disco externo com espaço sobrando (a imagem anterior tem alguma coisa em T:), pode acontecer algum erro. Veja se vc tem ao menos uns 30GB no C:

from cnpj-sqlite.

@rictom tenho 62gb no c: é mais de 2tb no disco t:

from cnpj-sqlite.

Como funciona esse negócio do git bash? Vc tem um environment chamado "main" em python 3.11?

from cnpj-sqlite.

Ele emula um terminal Linux eu rodo os comandos ele entende pelo system enviroment @rictom

from cnpj-sqlite.

Eu sugiro vc trocar uma linha 26 para bUsaPandas = False, que a rotina vai usar a biblioteca dask ao invés do pandas, e o dask gerencia para não ocupar toda a memória (pelo menos essa é a teoria). O problema é que demora bem mais.
Acho que alguém tinha postado uma forma de fazer esse "split" dos cnaes secundários só usando sql, teria que pesquisar nas issues.

from cnpj-sqlite.

@rictom tá pedindo pandas 3.0, estou usando 2.2.0, sabe como forçar o uso da versão 3?

from cnpj-sqlite.

Cria um ambiente virtual e faz um pip install -r requirements.txt com esse conteúdo:

beautifulsoup4==4.8.2
dask==2024.1.1
easygui==0.98.3
nest_asyncio==1.6.0
pandas==2.2.0
psutil==5.9.8
py7zr==0.20.8
pywebio==1.8.3
Requests==2.31.0
SQLAlchemy==1.4.47
wget==3.2

from cnpj-sqlite.

PS C:\xampp\htdocs\cnpj-sqlite> python .\dados_cnpj_cnae_secundaria.py
C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py:21: DeprecationWarning:
Pyarrow will become a required dependency of pandas in the next major release of pandas (pandas 3.0),
(to allow more performant data types, such as the Arrow string type, and better interoperability with other libraries)
but was not found to be installed on your system.
If this would cause problems for you,
please provide us feedback at pandas-dev/pandas#54466

import pandas as pd, os, sqlalchemy
inicio... Wed Feb 14 18:33:45 2024

@rictom fiz como pediu começou, vamos ver a resposta final, mas já mostrou o alerta da versão 3

from cnpj-sqlite.

@rictom

PS C:\xampp\htdocs\cnpj-sqlite> python .\dados_cnpj_cnae_secundaria.py
C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py:21: DeprecationWarning:
Pyarrow will become a required dependency of pandas in the next major release of pandas (pandas 3.0),
(to allow more performant data types, such as the Arrow string type, and better interoperability with other libraries)
but was not found to be installed on your system.
If this would cause problems for you,
please provide us feedback at https://github.com/pandas-dev/pandas/issues/54466

  import pandas as pd, os, sqlalchemy
inicio... Wed Feb 14 18:36:53 2024
T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py:122: UserWarning: pandas only supports SQLAlchemy connectable (engine/connection) or database string URI or sqlite3 DBAPI2 connection. Other DBAPI2 objects are not tested. Please consider using SQLAlchemy.
  head = pd.read_sql(q, engine, **kwargs)
Traceback (most recent call last):
  File "C:\xampp\htdocs\cnpj-sqlite\dados_cnpj_cnae_secundaria.py", line 81, in <module>
    ddf = dd.read_sql_table('tmp_cnae', f'sqlite:///{cam}', index_col='cnpj_int')
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py", line 344, in read_sql_table
    return read_sql_query(
           ^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\dask\dataframe\io\sql.py", line 122, in read_sql_query
    head = pd.read_sql(q, engine, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 706, in read_sql
    return pandas_sql.read_query(
           ^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 2739, in read_query
    cursor = self.execute(sql, params)
             ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "T:\Python311\Lib\site-packages\pandas\io\sql.py", line 2671, in execute
    raise TypeError("Query must be a string unless using sqlalchemy.")
TypeError: Query must be a string unless using sqlalchemy.

veja como o erro mudou agora como False onde pediu

from cnpj-sqlite.

@rictom lembrando que estou usando PowerShell agora, só para testar se era o git bash

from cnpj-sqlite.

No powershell vc está usando anaconda? Vc está ativando o ambiente virtual? Só pra entender, qual o procedimento que vc está fazendo pra ativar o ambiente?

from cnpj-sqlite.

Aqui tem um código para quebrar a coluna só usando sql:
#24

from cnpj-sqlite.

@rictom obrigado, vou usar

from cnpj-sqlite.

@rictom pior que também deu erro, pensei que era só para o cnae secundário, mas era para o banco todo, até fiz backup

from cnpj-sqlite.

acho que o banco que eu tenho já tem os cnae secundário, isso no mysql, pois importei o banco do sqlite

na tabela estabelecimentos tem um campo cnae_fiscal_secundaria

essa rotina do .py faz é separar em outra tabela?

from cnpj-sqlite.

@rictom se você me dizer que é isso, eu faço em php para resolver meu problema, até você atualizar, pois como a base sempre atualiza, acredito que seu projeto ainda vai ser muito útil, desde já agradeço a atenção e o seu tempo.

from cnpj-sqlite.

@rictom resolvi, era o arquivo de paginação do Windows que estava desativado, ai coloquei 50gb no C: e 100gb no T:

depois deu erro de too many sql, ai resolvi mudando o chunksize=10000

from cnpj-sqlite.