Name		Name	Last commit message	Last commit date
.gitignore		.gitignore
LICENSE		LICENSE
README.md		README.md
requirements.txt		requirements.txt
robotstxt.py		robotstxt.py
setup.py		setup.py

Repository files navigation

robots-txt-cli

現在開発中

python製のrobots.txtテスト用のツールです。現在のところ指定したURLへのアクセスがrobots.txtで許可されているかどうかを判定する機能のみ。 python2系非対応。

TODO

robots.txtのキャッシュ

About

cli tool for robots.txt

0 stars

1 watching

Report repository

Releases

Packages

Contributors

Languages