mongodb爬取數字貨幣

㈠ 如何把nutch爬取的網頁內容存寫到MongoDB

進入nutch的安裝目錄，運行命令：

bin/nutch readseg -mp db/segments/20090525140014 segdb -nocontent -nofetch -nogenerate -noparse -noparsedata

db/segments/20090525140014為一個segments文件夾，segdb為存放轉換後的內容的文件夾。

㈡ 如何用30行代碼爬取Google Play 100萬個App的數據

基礎工作:
內置元素選擇器
序列化存儲數據
處理cookie、HTTP些東西間件
爬取 Sitemap 或者 RSS

等等

我需求爬取 Google Play 市場所 App 頁面鏈接及載數量

首先確保配置 Python 2.7, MongoDB 資料庫, 及 Python pip 包管理系統

安裝應 Python 包並且項目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google

app/spider/google.py 換面內容：
`# -*- coding: utf-8 -*-
import scrapy

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem

class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
'',
''
]
rules = [
Rule(LinkExtractor(allow=("\.google\.com/store/apps/details", )), callback='parse_app',follow=True),
] # CrawlSpider 根據 rules 規則爬取頁面並調用函數進行處理

def parse_app(self, response):
# 獲取頁面 URL 及載數量
item = GoogleItem()
item['url'] = response.url
item['num'] = response.xpath("//div[@itemprop='numDownloads']").xpath("text()").extract()
yield item

app/items 添加面代碼：
class GoogleItem(scrapy.Item):
url = scrapy.Field()
num = scrapy.Field()

app/setting.py 面添加面代碼
# 配置 scrapy-mongodb 資料庫連接用於自爬取數據存入 MongoDB
ITEM_PIPELINES = [
'scrapy_mongodb.MongoDBPipeline',
]

MONGODB_URI = 'mongodb://127.0.0.1:27017'
MONGODB_DATABASE = 'scrapy'
MONGODB_COLLECTION = 'play'

沒其工作連配置文件共四十行啟 MongoDB項目目錄運行
scrapy crawl google -s JOBDIR=app/jobs

靜靜等跑完吧-s JOBDIR=app/jobs 參數意思工作狀態已經爬取頁面數據存 app/jobs 目錄即使間斷運行面命令該目錄恢復工作用重新始

我 Linode 低配 VPS 跑概 40 MongoDB 數據 156 萬條記錄2015 1 月新聞 Google Play 143 萬款 App, 相信已經爬取絕數 App 頁面
`> use scrapy
switched to db scrapy
> db.play.count()
1564754
> db.play.find().limit(1)
"_id" : ObjectId("55479d9da28a7c1cca449c23"), "url" : "", "num" : [ " 100,000,000 - 500,000,000 " ]()
>

㈢ 如何把nutch爬取的網頁內容存寫到MongoDB

網頁page source 保存資料庫（mongodb）每取新page source 資料庫page source hash 值想等等表示更新 判斷爬蟲爬取間策略辦 自手實現吧

㈣ 請問如何用python將爬取的數據逐條傳入MongoDB資料庫，請大牛指點。

物信息、統計、網頁製作、計算等多個領域都體現出了強大的功能。python和其他腳本語言如java、R、Perl 一樣，都可以直接在命令行里運行腳本程序。工具/原料
python；CMD命令行；windows操作系統
方法/步驟
1、首先下載安裝python，建議安裝2.7版本以上，3.0版本以下，由於3.0版本以上不向下兼容，體驗較差。

2、打開文本編輯器，推薦editplus，notepad等，將文件保存成 .py格式，editplus和notepad支持識別python語法。
腳本第一行一定要寫上 #!usr/bin/python
表示該腳本文件是可執行python腳本
如果python目錄不在usr/bin目錄下，則替換成當前python執行程序的目錄。
3、編寫完腳本之後注意調試、可以直接用editplus調試。調試方法可自行網路。腳本寫完之後，打開CMD命令行，前提是python 已經被加入到環境變數中，如果沒有加入到環境變數，請網路

4、在CMD命令行中，輸入 「python」 + 「空格」，即 」python 「；將已經寫好的腳本文件拖拽到當前游標位置，然後敲回車運行即可。

㈤ Python如何把爬蟲爬的數據存到mongodb里

難道是img的問題。
mongodb是可以直接存的。這種寫法沒有問題。問題還是出在變數名與變數值上。
很簡單就可以定位。你先將img換成一個字元串，如果成功了，就是img本身的格式問題。如果還不成可以試試將"id"換成"Identify"類似的這樣的名子再式。2-3次試驗就可以找到原因。

㈥ 如何用30行代碼爬取Google Play 100萬個App的數據

做你媽的春夢吧，盡搞這種虛的，這么玩命加分號有給雞兒意思，除非google那邊給開了對應的介面