아미(아름다운미소)

나는 한 프로젝트에서 거대한 XLS 파일을 읽어야 했습니다.물론 COM 호출을 통하여 모든 셀 내용에 접근할 수 있지만, 너무 느린 단점이 있습니다. 간단한 트릭이 있어요: 그냥 엑셀에게 XLS 파일을 열어 그것을 CSV로 저장해 달라고 요구한 다음, 파이썬의 CSV 모듈을 사용하여 그 파일을 읽어 들이면 됩니다! 이 방법이 방대한 XLS 데이터 파일을 읽는 가장 빠른 방법입니다. import os import win32com.client filename = 'myfile.xls' filepath = os.path.abspath(filename) # 언제나 확실하게 절대 경로를 사용하자! # 엑셀을 시작하고 XLS 파일을 연다: excel = win32com.client.Dispatch('Excel.Ap..

# encoding: utf-8 import codecs from collections import deque import urllib2, urlparse import socket from BeautifulSoup import BeautifulSoup def get_links(uri, startswith=""): """Returns list of referenced URIs (without duplicates) found in the document returned for the input URI""" results = set() try: page = urllib2.urlopen(uri) soup = BeautifulSoup(page) for link in soup.findAll('a'): # try: ..

먼저 mysql-server, mysql-client 를 설치합니다. $ sudo apt-get install mysql-server mysql-client 설치 과정이 끝나면 설정 파일을 수정합니다. bind-address 부분을 찾아 주석처리합니다. (앞에 # 붙여주고 저장) $ sudo nano /etc/mysql/my.cnf ...... # bind-address = 127.0.0.1 ...... mysql 서비스를 재시작합니다. $ sudo service mysql restart 테스트용 DB 생성을 위해 mysql shell 에 접속합니다. root 유저로 접속합니다. $ mysql -u root -h localhost -p root 비밀번호 입력 후 쉘이 뜨면 테스트 DB 생성. mysql>..

HTTP 요청을 전송하면, html이나 이미지 또는 비디오 등등이 돌아온다.어떤 경우에는 받고 있는 데이터의 유형이 예상대로 인지 점검해야 한다. 받고 있는 문서의 유형을 점검하려면, MIME 유형을 보자 (Content-type) 헤더:urlfile = urllib2.urlopen('http://www.commentcamarche.net/') print "Document type is", urlfile.info().getheader("Content-Type","") 이는 다음과 같이 출력된다:Document type is text/html 경고: 쌍반점 다음에 정보가 있을 수 있다. 예를 들어:Document type is text/html; charset=iso-8859-1 그래서 언제나 다음과 같이..

urllib/urllib2를 사용하고 있고 404에러와 기타 HTTP 에러를 점검하고 싶다면? 다음은 그 트릭이다: try: urlfile = urllib2.urlopen('http://sebsauvage.net/nonexistingpage.html') except urllib2.HTTPError, exc: if exc.code == 404: print "Not found !" else: print "HTTP request failed with error %d (%s)" % (exc.code, exc.msg) except urllib2.URLError, exc: print "Failed because:", exc.reason 이런 식으로 404에러와 기타 HTTP 에러 코드를 점검할 수 있다. urlli..

urllib2로 프록시를 사용할 수 있다.# 프록시 주소와 포트: proxy_info = { 'host' : 'proxy.myisp.com', 'port' : 3128 } # 프록시를 위하여 처리자를 만든다 proxy_support = urllib2.ProxyHandler({"http" : "http://%(host)s:%(port)d" % proxy_info}) # 이 처리자를 사용하는 개방자(opener)를 만든다: opener = urllib2.build_opener(proxy_support) # 다음 이 개방자를 urllib2를 위한 기본 개방자로 설치한다: urllib2.install_opener(opener) # 이제 HTTP 요청을 전송할 수 있다: htmlpage = urllib2.urlo..

SQLite은 엄청난 데이터베이스 엔진이다. 진심이다. 몇가지 단점이 있다: 병행 접근용으로 디자인되어 있지 않다 (쓰는 동안 데이터베이스 전체가 잠긴다). 지역적으로만 작동한다 (네트워크 서비스가 없다. 물론 sqlrelay 같은 걸 사용할 수 있다). 외래 키를 처리하지 못한다. 권한 관리가 없다 (grant/revoke). 장점은 다음과 같다: 아주 빠르다 (대부분의 연산에서 mySQL보다 빠르다). SQL-92 표준을 대부분 준수한다. 서비스를 설치할 필요가 없다. 데이터베이스 관리를 수행할 필요가 없다. 사용되지 않을 때에는 컴퓨터 메모리와 CPU를 소비하지 않는다. SQLite 데이터베이스는 간결하다 1 데이터베이스 = 1 파일 (손쉽게 이동/배치/백업/전송/이메일 처리를 할 수 있다). SQ..

윈도우즈에서, 데이터베이스에 접근하려면 ODBC 대신에 ADO도 사용할 수 있다 (Microsoft ActiveX Data Objects). 다음 코드는 ADO COM 객체를 사용하여 Microsoft SQL 서버 데이터베이스에 접근하여, 테이블을 열람하고 화면에 표시한다. import win32com.client connexion = win32com.client.gencache.EnsureDispatch('ADODB.Connection') connexion.Open("Provider='SQLOLEDB';Data Source='myserver';Initial Catalog='mydatabase';User ID='mylogin';Password='mypassword';") recordset = connex..

윈도우즈에서, ODBC는 거의 모든 데이터베이스에 쉽게 접근할 수 있도록 해준다. 별로 빠르지는 않지만, 문제가 안된다.win32all 파이썬 모듈이 필요하다. 먼저, DSN을 만들자 (예: 'mydsn'), 다음:import dbi, odbc conn = odbc.odbc('mydsn/login/password') c = conn.cursor() c.execute('select clientid, name, city from client') print c.fetchall() 멋질 뿐만 아니라 쉽다 ! 또 fetchone()나 fetchmany(n)를 사용하면 - 각각 - 하나 또는 n개의 행을 한 번에 가져올 수 있다. 주목하자 : 데이터세트가 너무 크면, 너무 열 개수가 많은 테이블에서 괴이한 그리고 ..

Microsoft SQL 서버가 있다면, 이런 상황을 맞이해 보았을 것이다. «Enterprise Manager (일명 MMC) 에서 모든 클릭을 스크립트할 수 있다면 얼마나 좋을까!». 할 수 있다 ! MMC로 할 수 있는 것이면 무엇이든 파이썬으로 스크립트할 수 있다. win32all 파이썬 모듈만 있으면 파이썬에서 COM 객체에 접근할 수 있다 (win32all 모듈은 ActiveState사의 파이썬 배포본으로도 제공된다) 일단 설치했으면, 그냥 SQL-DMO 객체를 사용하자. 예를 들어, 서버에 있는 데이터베이스 리스트를 얻자: from win32com.client import gencache s = gencache.EnsureDispatch('SQLDMO.SQLServer') s.Connect(..