David пре 10 година
родитељ
комит
b0956178c4
2 измењених фајлова са 4 додато и 1 уклоњено
  1. 1 1
      db.py
  2. 3 0
      news.py

+ 1 - 1
db.py

@@ -119,7 +119,7 @@ class db():
         self.c_articles.remove({'error':True})
 
     def article_exists(self,url):
-        ret=self.c_articles.find_one({'url':url})
+        ret=self.c_articles.find_one({'lowerurl':url.lower()})
         if ret is None:
             return False
         return True 

+ 3 - 0
news.py

@@ -11,6 +11,7 @@ class News():
     r_noise=re.compile(r"posted|Product|Google",flags=re.IGNORECASE)
     
     URL=""
+    LOWERURL=""
     AUTHORS=[]
     SCRAP_DATE=None 
     PUBLISH_DATE=None
@@ -29,6 +30,7 @@ class News():
     def __init__(self,url,sourceid, sourcename,sourcecategory,kw,lang="en",html=None):
         url=sanitizeUrl(url)
         self.URL=url
+        self.LOWERURL=url.lower()
         self.SOURCENAME=sourcename
         self.SOURCE=sourceid
         self.CATEGORY=sourcecategory
@@ -83,6 +85,7 @@ class News():
     def get(self):
         return {
                 "url": self.URL,
+                "lowerurl": self.LOWERURL,
                 "source": self.SOURCE,
                 "source_name": self.SOURCENAME,
                 "authors": self.AUTHORS,