Почетна Преглед Помоћ
Пријавите се
david
/
alexis2
1
0
Креирај огранак 0
Датотеке Дискусије 0 Захтеви за спајање 0 Вики
Преглед изворни кода

add forbes as paid

David пре 10 година
родитељ
b0956178c4
комит
e393f5b640
2 измењених фајлова са 27 додато и 4 уклоњено
Један поглед Покажи статистику Diff
  1. 22 0
      paid_sources/forbes.py
  2. 5 4
      paid_sources/test_paid_article.py

+ 22 - 0
paid_sources/forbes.py
Прегледај датотеку 

@@ -0,0 +1,22 @@
 
+#!/usr/bin/env python3
 
+import requests
 
+import json
 
+
 
+def parse(link):
 
+    s_r = requests.session()
 
+    print_link=link+"/print/"
 
+    cookie = {'toURL':link,'refURL':'','referrer':''}
 
+    result = s_r.get(print_link, cookies=cookie)
 
+    out = result.content.decode("utf-8")
 
+    out = out.split("\n")
 
+
 
+    ret = {'title':"", 'body': ""}
 
+    for l in out:
 
+        if "fbs_settings.content = {" in l:
 
+            substr=l.split("=",1)[1]
 
+            substr="".join(substr.rsplit(";",1))
 
+            try:
 
+                ret = json.loads(substr) 
+            except:
 
+                pass
 
+    return "<html><head><title>%s</title></head><body><article>%s</article></body></html>" %(ret["title"], ret["body"] )

+ 5 - 4
paid_sources/test_paid_article.py
Прегледај датотеку 

@@ -3,7 +3,7 @@ import newspaper
 
 from newspaper import Article,Config
 
 from newspaper import Article,Config
 
 import sys
 
 import sys
 
 
 
-url = "http://feeds.wsjonline.com/~r/wsj/deals/feed/~3/lnaq0DpDaYI/"
 
+url="http://www.forbes.com/pictures/fjle45edkdm/no-1-detroit-michigan/"
 
 if url == "":
 
 if url == "":
 
     print("pls url")
 
     print("pls url")
 
     sys.exit(1)
 
     sys.exit(1)
 
@@ -18,13 +18,14 @@ config.browser_user_agent="Mozilla/5.0 (X11; Linux x86_64; rv:47.0) Gecko/201001
 
 config.verbose=True
 
 config.verbose=True
 
 
 
 
 
-import wsj
 
+import forbes as parser
 
 print(url)
 
 print(url)
 
-html=wsj.parse(url)
 
+html=parser.parse(url)
 
 a = Article(url=url,config=config)
 
 a = Article(url=url,config=config)
 
 a.download(html=html)
 
 a.download(html=html)
 
 #print("dl")
 
 #print("dl")
 
 a.parse()
 
 a.parse()
 
-print("parsed")
 
+print(a.title)
 
 print(a.text)
 
 print(a.text)
 
+#print(a.html)
 
 #
 
 #