Skip to content

algdb.net has no API for fetch algorithms in JSON format, maybe scraping some data might be a good idea 💡

Notifications You must be signed in to change notification settings

Vivaldo-Roque/AlgDB_Scraping

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

English

This script collects only 3x3x3 data referring to F2L, OLL, PLL, COLL and WV from the site ==> [http://algdb.net/] and saves it in a file in json format.

Getting Started

These instructions will get you a copy of the project up and running on your local machine for development and testing purposes.

Prerequisites

What things you need to install the software and how to install them

  • Python 3.x
  • Geckodriver
  • Firefox (you can use another browser)
  • Some Python libraries following

Installing

A step by step series of examples that tell you how to get a development env running

Install the following Python libraries:

  • requests2 - Requests is the only Non-GMO HTTP library for Python, safe for human consumption;
  • pandas - A great Python Data Analysis Library;
  • lxml - Library for processing XML and HTML;
  • beautfulsoup4 - Library for pulling data out of HTML and XML files;
  • selenium - An API to write functional/acceptance tests using Selenium WebDriver.

With:

pip install -r requirements.txt

Geckodriver

You can find install instructions in the official repository.

Running the code

python main.py

Português

Este script coleta apenas dados 3x3x3 referentes a F2L, OLL, PLL, COLL e WV do site ==> [http://algdb.net/] e salva em um arquivo no formato json.

Começando

Essas instruções fornecerão a você uma cópia do projeto em execução em sua máquina local para fins de desenvolvimento e teste.

Pré-requisitos

O que você precisa para instalar o software e como instalá-los

  • Python 3.x
  • Geckodriver
  • Firefox (você pode usar outro navegador)
  • Algumas bibliotecas Python a seguir

Instalando

Uma série de exemplos passo a passo que informam como executar um ambiente de desenvolvimento

Instale as seguintes bibliotecas Python:

  • requests2 - Requests é a única biblioteca HTTP não OGM para Python, segura para consumo humano;
  • pandas - Uma ótima biblioteca de análise de dados Python;
  • lxml - Biblioteca para processamento de XML e HTML;
  • beautfulsoup4 - Biblioteca para extrair dados de arquivos HTML e XML;
  • selenium - Uma API para escrever testes funcionais/de aceitação usando o Selenium WebDriver.

Com:

pip install -r requirements.txt

Geckodriver

Você pode encontrar instruções de instalação no repositório oficial.

Executando o código

python main.py

About

algdb.net has no API for fetch algorithms in JSON format, maybe scraping some data might be a good idea 💡

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages