전체 글226 크롤링 :: 인스타그램, 리팩토리 함수제작 및 실행 인스타그램은 보안(?)이 좀 강화되어있어서html이나 xpath가 종종 바뀌기때문에 아래의 코드가 100%맞지는 않는다.만약 다르다면 xpath를 재확인해주어야 합니다.1. 인스타그램 로그인#크롬드라이버 임포트import chromedriver_autoinstallerfrom selenium import webdriver #드라이버 창 띄우기driver = webdriver.Chrome()url = 'https://www.instagram.com/'driver.get(url) #인스타그램 로그인id = 아이디를 넣어줍니다pw = 비밀번호를 넣어줍니다. 아이디와 비밀번호의 칸에 각각 넣으려고하면 각 칸의 xpath의 위치를 알아야합니다. 그 후 입력값(아이디,비밀번호)을 넣어주고 로그인을 클릭하는것까지 진.. 2024. 5. 30. 크롤링::네이버웹툰 댓글 크롤링 1.크롤링과 스크레이핑- 크롤링(crawling):인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있도록 하는 수집하는 행위- 스크레이핑(Scraping): 크롤링후 데이터를 추출하고 가공하는 행위전시간에 배웠던 크롤링과 스크레이핑은 정적인 페이지 내에서 데이터를 긁어오는것들이었습니다.그렇지만 모든 홈페이지가 정적인 페이지는 아니예요인스타그램이나 페이스북 같은건 스크롤을 내리면 추가로 생긴 데이터는 파싱을 할 수 없습니다.그 이후에 쌓였기때문이죠그래서 이런데이터가 유동적으로 움직이거나 다이나믹한 페이지는다른 프로그램을 사용해서 파싱해야합니다.즉 사람처럼 움직여주고 사람처럼 데이터를 가져와서 활용해보는걸 해볼겁니다.브라우저를 컨트롤해야하기때문에 주피터노트북라는걸 사용하게 됩니다.주피터 노트북 .. 2024. 5. 28. 크롤링:: 영단어 추출, 기사,뮤직차트,주식정보, robots.txt 1.크롤링과 스크레이핑- 크롤링(crawling):인터넷의 데이터를 활용하기 위해 정보들을 분석하고 활용할 수 있도록 하는 수집하는 행위- 스크레이핑(Scraping): 크롤링후 데이터를 추출하고 가공하는 행위 실전연습 // 정적인 URL2.Basic English Speakinghttps://basicenglishspeaking.com/daily-english-conversation-topics/ 위 사이트에 있는 75개의 단어들을 변수로 담는 크롤링 을 할 것입니다.import requestsfrom bs4 import BeautifulSoup 가장먼저 import(개입)를 하고 requests를 합니다.파이썬을 설치만 하면 리퀘스트라는 모듈이 설치가 되어있습니다. ** 리퀘스트 : 서.. 2024. 5. 27. CSS 1. CSSCSS(Cascading Style Sheets)는 HTML이나 XML과 같은 마크업 언어로 작성된 문서의 스타일을 정의하기 위한 스타일 시트 언어입니다. CSS는 웹 페이지의 레이아웃, 색상, 폰트 및 다양한 시각적 요소를 디자인하는 데 사용됩니다. HTML이 웹 페이지의 구조를 정의하는 데 중점을 두는 반면, CSS는 웹 페이지의 디자인과 스타일을 담당합니다. 2. CSS 문법CSS는 선택자(selector)와 선언 블록(declaration block)으로 이루어져 있습니다. 선택자는 스타일을 적용할 HTML 요소를 선택하고, 선언 블록은 해당 요소에 적용할 스타일 규칙을 정의합니다. - 인라인 스타일 - 내부 스타일 - 외부 스타일3. 선택자CSS 선택자는 HTML 문서 내에서 스타일.. 2024. 5. 22. [HTML] 웹 용어, HTML구조, 태그 나중에 웹크롤링을할때에 소스를 긁어오기위해서 필요한 html을 보고 읽을 수 있기 위해서 배우게 됩니다.폴더에있는것을 그대로 vscode로 열려면 폴더를 아이콘에 대면 바로 열립니다. VSCODE 줄바꿈 하는 방법 파일- 프리퍼런스-세팅- wrap- word wrap을 on으로 변경하면 가로 스크롤이 생기지 않습니다. 용어1. 웹 웹은 World Wide Web의 줄임말로, 전 세계의 컴퓨터와 정보를 연결하는 인터넷 기반의 정보 시스템입니다. 웹은 사용자들이 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 정보를 검색하고 공유할 수 있도록 하는 플랫폼입니다. 2. 웹의 구성 요소 웹 브라우저: 사용자가 웹 페이지를 조회하고 상호 작용하는 도구로, Chrome, Firefox, Safari 등이 여기.. 2024. 5. 22. [HTML] 순서유무의 리스트, 테이블, 태그 회원가입때 보이는 약관을 띄어주는 (순서가 있는)리스트를 배운다.그리고요런것들의 (순서없는)리스트로 나누려고 한다. 리스트의 약자는 li입니다.즉 li는 순서가 있는것(ol)없는것(ul)으로 나눌 수 있고 태그는 li로 쓰인다.ul> li>텍스트 1li> li>텍스트 2li> li>텍스트 3li> li>텍스트 4li>ul>ol> li>텍스트 5li> li>텍스트 6li> li>텍스트 7li> li>텍스트 8li>ol>이렇게 하면 이렇게 보이게 됩니다. 순서가없는 리스트는 순서가 없기에 쩜으로 표현이 되고 순서가 있는 리스트는 앞에 1,2,3,4로 되어있습니다. 만약 순서를 1,2,3,4 이런게 아니라 a,b,c등 태그를 변경할 수는 없을까? 라는 고민을 다른개.. 2024. 5. 21. [HTML] 기본용어, 요소, 자동완성,VSCODE사용 서버와 클라이언트 - 클라이언트 : 서버에게 요청하는 대상- 서버 : 요청받은 서비스를 응답해주는 대상 - 서비스는 회원이이용할 수 있는 기능들을 서비스라고 한다. - 서비스는 하나의 컴퓨터이다. 웹 - 요청과 응답이 일어나는 장소. 웹 브라우저(seb Brower) - 사용자의 요청에 맞는 주소로 찾아가서 인터넷 컨텐츠(문서, 그림, 멀티미디어, 파일 등)을 검색 및 열람 후 사용자에게 응답하기 위한 프로그램의 총칭이다. - 주요 웹브라우저는 모질라 파이어폭스, 구글 크롬, 마이크로소프트 엣지, 오페라, 사파리 등이 있다. 프로토콜(Protocol):통신 규약 사람끼리 소통 할 때 서로 이해할 수 있는 공용어를 사용해야 하듯이 컴퓨터끼리도 공용어를 사용해야 한다. 이러한 공용어를 원할하게 통신하기 위해.. 2024. 5. 21. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #52강~62강(완강) [52강. 메소드 ]클래스는 변수(name, resolution, price, color등)을 가질수도있지만 기능을 하는 함수(def event())도 가질 수 있습니다.전 강의에서 이미 객체가 생성될 때 자동으로 호출되는 __init__함수를 사용해봤습니다.이렇게 클래스 내에서 선언되는 함수를 메소드(Method)라고 합니다. 이렇게 되는건 변수가 아니라 기능의 영역이고 클래스는 기능을 가질 수 있다고 했으니까 BlackBox에 이 기능을 정의하도록 하겠습니다.class BlackBox: def __init__(self, name, price): self.name = name self.price = price# __init__메소드 밑에 def를 통해서 하나 더 추.. 2024. 5. 19. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #47강~51강 [47강. with ]파일을 열면open(...) 항상 닫아줘야close()합니다. 그렇지만 파일작업을 하다보면 파일 닫는걸 깜빡할 수 있습니다.파일을 닫는걸 자동으로 해주는것이 바로 with입니다.with를 사용하게 되면 with 블럭을 벗어나면 자동으로 파일을 닫아줘서 close함수를 따로 호출 할 필요가 없습니다. 사용방법with 파일 쓰기f = open('list.txt', 'w', encoding='utf8')▶ with open( 'list.txt', 'w', encoding='utf8') as f: 한 칸 띄우고 open 구문은 그대로 적어주고요 맨 뒤에 open을 통해서 연 파일을 담을 as f: 라는 변수를 지정해줍니다.마치 위 문장에서 open한 결과를 f로 받는것과 똑같은겁니다. 이 .. 2024. 5. 17. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #42강~46강 [42강. 가변인자 ]가변인자는 말 그대로 개수가 바뀔 수 있는 인자입니다.이 함수를 호출할 때 전달값이 몇개가될지 모르는 경우에 개수를 신경 쓸 필요 없이 함수를 쓸 수있게 해주는것이다. 가변인자를 쓰는법 : 전달값앞에 * 찍어주면 됩니다. ▶ *전달값 def visit(today, customer1, customer2, customer3, customer4, customer5):여기서 몇개의 전달값을 만들어야할지 고민하던 함수를def visit(today, *customers):이렇게 *customers라는 변수로깔끔하게 줄여버리면 됩니다.참고로 *customerss는 튜플형태로 값들을 받게 됩니다.예시def visit(today, *customers): print(today) #날짜출력 .. 2024. 5. 11. [Python] 문법 ~~~~32~~41 [32강. while]for vs while for ▶ 정해진 범위 또는 정해진 데이터를 순회하면서 반복하는 것while ▶ 조건이 참인동안 계속해서 반복하는것 while 사용하는 방법while 조건: 반복 수행 문장 로 구현할 수 있게 됩니다. [33강. break]반복문의 비상정지 바튼 것 반복문에서 반복수행중인 동작을 즉시 멈추고 반복문을 즉시 탈출하는 역할을 함. 보통 if조건과 함께 사용함.[34강. continue]위 drama에서 시즌1,시즌2를 본 후 시즌3만 건너뛰고 시즌4, 시즌5는 이어서 보고싶을떄사용할 수 있는 continue가 있습니다. 이와같이 continue는 파이썬 반복문에서 어떤 경우에동작을 건너 뛰고싶을때 쓰는것입니다.[35강. 들여쓰기]파이썬에서는 들여쓰기가 굉장히.. 2024. 5. 10. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #24강~31강 [24강. 자료형 비교] 리스트(list)튜플(t)세트(s)딕셔너리(d)선언list = [ ]t = ( )s = { }d ={key:val}순서보장ㅇㅇxㅇ중복허용ㅇㅇxx접근list[idx]t[idx]xd[key]d.get(key)수정dxxㅇ(value)추가append()insert()extend()xadd()update()d[key] = valupdate()삭제remove()pop()clear()xremove()discard()pop()clear()pop()popitem()clear()그래서 ? 이런 자료형은 언제 뭘써야해?여러 값들을 순서대로 관리해야한다면 ▶ 리스트값이 바뀔 일이 없거나, 바뀌면 안된다면 ▶ 튜플특정 값의 존재여부가 중요하고 중복을 허용하지 않는 데이터들이면 ▶ 세트key를 통해서 .. 2024. 5. 9. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #20강~23강 [20강. 세트 1]세트의 특징리스트 튜플과 같이 여러개의 데이터를 저장할 수 있다.단 순서를 보장하지않고, 중복을 허용하지 않습니다.세트의 형태는 세트 = {값1, 값2, ...}로 구성됩니다. set1 = {'돈가스','보쌈','제육덮밥'}set2 = {'짬뽕','초밥'.'제육덮밥'} 이렇게 있는 문자열의 공통값을 추출(교집합) 하려면 intersection이라는 메소드가필요합니다.print(set1.intersection(set2))을 실행하게 되면 #제육덮밥 라고 출력되는겁니다. 이렇게 있는 문자열의 모든값을 추출(합집합) 하려면 union이라는 메소드가필요합니다.print(set1.union(set2))을 실행하게 되면 #{'돈가스','보쌈','짬뽕','초밥','제육덮밥'} 라고 출력되는겁니.. 2024. 5. 7. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #12강~19강 [12강. 메소드]메소드(methdo)라는것 = 클래스 내에 정의된 어떤 동작, 기능을 하든 코드들의 묶음쉽게생각하면 기능 이라고 생각하면 된다.메소드 사용 형식문자열.메소드(...)문자열.메소드(...)입니다. 물론 메소드안에 어떤게 들어가있겠죠?ex) letter = 'how are YOU?'이렇게 있는 문자열의 모든 내용을 소문자로 바꾸기위해서는 lower이라는 메소드가필요합니다.print(letter.lower())을 실행하게 되면 #how are you? 라고 출력되는겁니다. 모든걸 대문자로 바꾸기 위해서는 upper 이라는 메소드가 필요합니다. print(letter.upper())을 실행하게 되면 #HOW ARE YOU? 라고 출력됩니다. 첫글자를 대문자로하고 나머지는 모두 소문자로 바꾸고싶.. 2024. 5. 6. [유튜브 나도코딩 1분파이썬] 100분완성 강의 요약본 #3강~11강 무료형 코딩교육이있고 짧고간결해서 선수학습을 생각하고 짤막하게 들었다. 그 외에도 수업이 끝나고 복습할때에도 관련내용이 있으면 찾아서 들었다.재능기부해주신 나도코딩님께 감사드립니다! [3. 자료형]자료형에는 문자자료형, 숫자 자료형, 불리안 자료형이 있다. 숫자자료형print(1)print(2.4)장수와 실수를 넣어주면 된다. 문자자료형print("hello world")print("안녕하세요")print("2") 숫자 자료형도 따옴표로 감싸게 되면 문자자료형이 된다 불리안 자료형print(True)print(False) *단어의 시작 부분인 T,F는 대문자로 작성해야함. [4. 변수]변수는 코딩할때 가장많이 쓰이는것이고 제대로 용어를 이해해놔야 잘 쓸 수 있는것같다.변수 = 어떤 값을 저장하는 공간 변.. 2024. 5. 6. 코딩계의 네이버같은 존재는 바로 여기! https://stackoverflow.com/ Stack Overflow - Where Developers Learn, Share, & Build CareersStack Overflow | The World’s Largest Online Community for Developersstackoverflow.com수많은 질문과 답변으로 많은 도움을 얻을 수 있다. 2023. 5. 11. 이전 1 ··· 5 6 7 8 다음
