오랜만에 글을 써 봅니다. 원래 쓰던 CUDA 글도 마무리지었어야 했는데, Ubuntu의 병맛으로 여름방학식하고 다음날에 쓰던 글이 날아갔습니다(...) 그 이후로는 수능 공부도 하고 뭐 입시하다보니 글을 쓰지 않았습니다. 뭐... 일단 CUDA 글은 차차 마무리하기로 하고, 입시 끝난 지금부터는 새로운 기기를 다뤄보려고 합니다.

아, 참 이쁘지 않나요? 뭐 기능에 대해서도 끌리는 면이 있었지만, 일단 이쁘다는 것이 매우 끌렸...


  오래전부터 Xeon Phi에 대해 관심이 있었습니다. TOP500에서 한동안 1위를 했던 텐허-2도 Xeon Phi 기반의 슈퍼컴퓨터이고, 무엇보다 2016년즈음에 Xeon Phi 31S1P 버전이 170달러, 10개?넘게 구매하면 130달러인가까지 내려가는 상황도 있었기 때문이죠. 이때 구매를 했어야 했는데... 여건이 안 되서(관심은 있었지만, 그만큼의 돈을 들이기도 좀 부담스러웠을 것이고, 당시 쓰던 제 장비에서는 돌리기 힘들었죠. 물론 샀으면 진짜 ㅈ됐을 것입니다. Passive Cooling 어쨌을꺼...) 구매를 하지 않았습니다. 그 이후로 간간히 머릿 속에 떠오를 때마다 중고나라, 2CPU 등을 뒤져보면서 매물을 찾아보려 했지만, 애초에 있는 것이 이상한 법...(근데 중고나라에 팔렸던 전적이 있던 게 신기...) 없었죠.

  그러다가 이번에도 또 Xeon Phi 사고 싶어서 뒤지다가 ebay에 쳐보니 아니, 200달러에 5110P를 파네요? 개꿀하면서 하나 구매해서 굴려먹으려다가, 또 지인이 알려줘서 Xeon Phi 71S1P 6개(!!) 경매에 참여하게 되었습니다. 대충 Xeon Phi외에 서버 조립에 들일 금액은 100만원 정도 예상하고, 경매에는 최대 500달러까지 걸어두는 등, 엄청난(?) 짓을 했었는데 325달러에 낙찰받았습니다. 개당 54달러 정도에 얻은 편이니(물론 중고라고 해도) 꽤 싸게 구한 편이었...다고 생각은 했지만 이제부터 시작이었습니다.

  일단 배송비...USPS로는 받을 수 없으니 DHL를 쓰니 배송비 150?달러가 붙고, 관세도 내면서 대충 52?만원에 한국에 들여왔습니다. 자, 집에 왔습니다. 대충 수능 한 달 전쯤에 받은 거 같은데, 그 Intel의 푸-른 광채는 꽤나 이쁘더군요. 뭐 몇 개는 흠집이 있었지만, 그정도야 중고면 넘어 가아죠~


여기서 문제는...Passive Cooling라는 것. 일단은 암튼 idle 상태로라도 인식이 될 것이라 생각하고, 컴퓨터에 깔려 있던 Ubuntu 파티션을 줄이고 CentOS(Intel에서 권장하는 환경이 CentOS이고, Ubuntu에서도 설치할 수 있게 몇몇 분들이 해둔 것이 있었는데, 전 잘 안 돼서 그냥 바로 CentOS를 깔았습니다)를 설치하여 MPSS(Manycore Platform Software Stack, 네이밍 수준이...)를 설치했습니다. 대충 PCIe 인식은 잘 되었고, MPSS 서비스를 실행해서 잘 돌아가는지 확인만하면 되는데 안 되더라고요...? 여기서부터 이제 중고인데 어디 망가졌나... 싶었습니다. 일단은 수능이 끝나기 전까지 접어두기로 했습니다. 뭐 중간에 공부하기 싫어서 간단히 찾아보면서, 라이저 케이블, Xeon Phi용 쿨러(니덱 3열 쿨러를 샀었는데, 마이닝 케이스를 사면서 쓸모없어 졌습니다 ㅋ 5만원 ㅂㅂ), 마이닝 케이스(GPU를 많이 걸어두고 사용하니까, 딱 Passive Cooling을 쓰는 Xeon Phi에 적합하더라고요.) 등을 구매해두고 조립만 안 했습니다.

  자, 수능이 끝났습니다. 바로 조립하기 시작했습니다 ㅋㅋㅋ 일단 있는 걸로 대충 조립해서 Xeon Phi가 잘 돌아가는지 확인했습니다. 

예상대로 조립이 안 되어서, 결국 마이닝 케이스에 달려있던 쿨러 1열을 바깥으로 꺼내고 Xeon Phi를 철사로 묶어서 매달아 버렸습니다. 이후에는 철사 말고 케이블타이로 묶으니 완벽하더군요. 다행히 쿨러 다 작동시키니 정상적으로 MPSS 서비스가 돌아가면서 인식이 잘 되었습니다. 대충 케이스 질량이 7kg, Xeon Phi가 2개에 2kg?, 기타 잡다한 거까지 하니 10kg은 나온 거 같네요. 저걸 들고 옮기고, 허리 굽혀서 작업하느라 근육통 나서, 허리랑 팔, 다리 아파서 다음날 죽는 줄 알았습니다.

  중고로 메인보드 & CPU 같이 구매하면서 딸려 온 CPU 쿨러의 경우 히트싱크?가 너무 커서 이 위에 Xeon Phi를 올릴 수 없었습니다. 그래서 쿨러텍에서 뭐 3만원에 파는 싼 거 샀는데, 염병... 이게 뭐 소켓은 맞는데 쿨러 규격이 안 맞아서 조립이 안 되더군요. 반품하고 6만원짜리 Phanteks꺼 쿨러를 샀습니다. 작고 잘 돌아가네요.(지금 CPU를 풀로드할 일이 없어서 정확히는 완벽하다고는 못 말하지만, 뭐 암튼 잘 돌아가겠죠 ㅋㅋㅋ 어차피 소음이 큰 서버라 쿨러가 풀로드라도 잘 돌아가기만 하면 되니까) 암튼 이후에 6개 다 연결했습니다. 그리고 이게 마지막 모습입니다(...)

이게... 라이저 케이블이 한 2cm 정도 짧아서 원래 사 둔 테스트용 다른 케이블이랑 같이 섞어서 연결했는데, 중간에 뭐 접촉불량이든지 그런 게 있었는지, 전원을 넣자마자 테스트용 라이저 케이블에 달려 있던 콘덴서가 터졌습니닼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 아 개웃기네. (당시에는 Xeon Phi 안에 있는 콘덴서 터진 줄 알고 욕하면서 서버 껐음...ㅠㅠ) 죽은 줄 알고 막 Xeon Phi 영정사진도 만들었는데, 다행히 다시 테스트해보니 인식은 되는 거 같습니다. Xeon Phi OS가 부팅되는 것까진 확인이 안 됐지만... 일단 Aliexpress에서 좀 더 긴 놈 주문했으니 이거 오면 연결해보려고 합니다. 그래서 지금은 5개 연결되어 있습니다. 이후에 이제 전원이 부족하니까(파워 서플라이에서 제공하는 6GPU용 케이블을 연결하면 깔끔하게 다 끼울 수 있으나, Xeon Phi가 각각 TDP가 300W인지라... 6개하고 본체 전원까지 생각하면 2kW는 생각해야죠) 같은 파워 하나 더 주문해서 듀얼 서플라이를 세팅했습니다. 모 분의 도움을 통해 MOSFET을 연결하여 동시에 켜지도록 구현했고요. 아직 무거운 프로그램을 돌려보지 않아서 잘 모르겠지만, 일단 기본적으로는 완벽하게 잘 돌아가네요. sample 코드도 잘 돌아갔고요. 문제는, idle 상태에서도 다 합쳐서 5개 기준으로 730W 정도 먹는다는 것. IDC에 넣어 두거나, 전기료 좀 싸게 쓸 수 있는 방법 찾기 전까지는 막 돌리다간 어머니한테 등짝 나갈 수도 있겠네요. 현재까지의 완성모습입니다.

(옆에 철사는 접지용 철사입니다. 이게 어디서 전류가 새는지 0.5V 정도 흐르더라고요. 접지했습니다.)


  이제, 제가 여행가기 전까지(2019년 1월 4일 전까지) Xeon Phi 프로그래밍하면서 개발일지와 흑우짓(...)을 올려보려고 합니다. 자료가 거의 없어서 거의 Intel 공식 문서 기반으로 할 듯... 목표는 OpenFOAM 돌려보고(Xeon Phi KNC 지원하는 것으로 앎) 직접 과학시뮬레이션 돌려보는 것입니다. 입시 끝났는데 딱히 게임도 재미가 없어서 이런 거나 하렵니다 ㅋㅋ


의문1. 도대체 콘덴서는 왜 터졌는가... 일단 Xeon Phi에 큰 영향을 주진 않은 거 같아서 다행인 거 같지만...

의문2. Colorful CROSSFEED 1250W "80PLUS Platinum"은 어떻게 그런 가성비가 나오는 건가...

'Programming > Intel® Xeon Phi™' 카테고리의 다른 글

0. Xeon Phi 서버 삽질과 세팅  (1) 2018.12.07
  1. ㅂㅅㅂ 2018.12.09 23:54 신고

    뽀대는 장난아니네요. 좋은 무기를 드셨으니즐거운 연산하세요. 잘 보고갑니다.

+ Recent posts

티스토리 툴바