#오픈소스

[hangulteam]

대시보드를 강화할 오픈소스 프레임워크, StreamBuilder!

Tumblr 대시보드를 강화할 사용자 지정 프레임워크를 오픈 소스화합니다! StreamBuilder라고 부르는 이 프레임워크는 이미 수년간 사용해 왔어요.

우선, 오픈소스란 뭔가요? 오픈소스는 개방적인 협업을 장려하는 탈중앙화된 소프트웨어 개발 모델입니다. 더 쉽게 표현하면, 사용자나 개발자가 원하는 대로 소스 코드를 사용하거나 수정할 수 있게 공개하는 모든 프로그램을 말해요.

그럼, StreamBuilder란 뭔가요? 팔로잉 피드, ‘내 취향’, 검색 결과, 블로그 포스트, 태그 포스트 목록, 블로그 추천을 볼 때마다 사용하는 프레임워크를 말해요. 코드에 관해 자세히 알고 싶다면 GitHub를 확인하세요!

StreamBuilder에는 많은 기능이 있어요. 기본 구조는 블로그 포스트, 팔로잉 블로그 목록, 특정 태그를 단 포스트, 검색 관련 포스트 등 콘텐츠 ‘스트림’이 중심입니다. 이런 스트림은 서로 섞이거나, 특정 기준에 따라 필터링되거나, 관련성 또는 참여 가능성에 따라 순위가 매겨질 수도 있어요.

지난주부터 Tumblr 대시보드에서 팔로링 블로그 포스트, 태그 포스트, 블로그 추천이 혼합된 걸 봤을 거예요. 각 스트림은 고유한 로직이 있는 별도의 스트림이지만, 같은 프레임워크를 공유합니다. Tumblr는 특정 간격으로 추천을 보여주고, 차단한 포스트를 필터링하고, ‘베스트 포스트’ 기능을 켠 경우는 관련성에 따라 포스트 순위를 매깁니다. 이런 기능은 모두 StreamBuilder가 제공합니다.

그러면, 이번 발표에는 무엇이 포함되어 있나요?

Tumblr 플랫폼에 표시되는 거의 모든 콘텐츠 피드에 사용하는 전체 프레임워크 코드 라이브러리.

콘텐츠 스트림을 구성하기 위한 YAML 구문과 이를 필터링, 삽입, 순위 지정하는 방법.

스트림을 프로그래밍 방식으로 구성, 필터링, 순위 지정, 삽입, 디버깅하기 위한 추상화 작업.

회전 카드, 스트림 내 스트림 등 스트림을 구성하기 위한 추상화.

복잡한 스트림 템플릿에 대한 커서 기반 페이지 매김을 위한 추상화.

라이브러리 공용 인터페이스와 대부분 기본 코드를 포함하는 유닛 테스트.

아직 작업 중

문서화. Tumblr 내부 도구에서 옮겨와 여기 추가할 내용이 많아요!

더 많은 예시 스트림 템플릿과 다양한 일반 스트림 구현 예시.

궁금한 점은 코드를 확인하고 거기에서 ‘사안을 제출’해 주세요.

[likejazz]

llama.cpp의 내부 구현을 분석하다가 ggml을 이용한 간단한 matmul 샘플을 구현해 봤습니다(프로젝트 링크는 댓글에). 원래 llama.cpp도 Georgi Gerganov가 주말에 llama 모델을 ggml로 구현하는 hackday를 진행하면서 시작 됐죠. 그리고 잘 알다시피 지금은 LLM계의 리눅스라 불러도 손색이 없을 만큼 엄청난 프로젝트로 성장했고요.

llama.cpp(정확히는 ggml)는 tensorflow와 유사하게 계산 그래프를 먼저 만들고 실행하는 방식입니다. 첨부 이미지(출처 별도 표기)처럼 그래프를 ggml_graph_compute() 함수로 호출하면 계산이 실행되죠. 참고로 첨부 이미지는 예전 버전 기준으로 작성된 것이고 지금은 CUDA로 실행할 때는 ggml_backend_graph_compute()로 실행해야 합니다. 이처럼 그래프를 별도로 계산하는 과정이 반드시 필요한데 모델링을 할 때는 이 방식이 무척 번거롭습니다. 그래서 tensorflow도 pytorch에게 자리를 내주고 말았죠. 하지만 애초에 llama.cpp는 inference 전용이기 때문에 이 방식이 별 문제가 되진 않습니다. 오히려 최적화하기 쉽고, 다양한 백엔드를 지원할 수 있어 llama.cpp는 CPU 외에도 CUDA 지원, 맥에서는 METAL 지원, AMD의 ROCm도 지원합니다. 또한 코어는 간결하게 C로 구현되어 있고, 그래서 제가 만든 샘플도 C++ 코드지만 C 문법만 사용했습니다. 애초에 tensor 변수도 ggml_tensor라는 struct로 구현되어 있죠.

반면 pytorch는 같은 역할을 하는 torch::Tensor부터가 벌써부터 namespace입니다. 모든 문법은 C++ 전용으로 되어 있고요. llama.cpp는 CPU에서 GPU로 메모리를 복사하는 과정을 직접 코딩해야 하는데, torch는 그런 과정도 모두 생략되어 있어 C++에서도 마치 파이썬처럼 별 어려움 없이 사용 가능합니다. 여기서 두 프레임워크의 철학이 엿보인다고 할 수 있습니다. 쉽게 사용가능하면서 딥러닝의 모든 것을 지원하는 종합 선물 세트 pytorch와 의존성 없이 이식성이 좋으면서 가볍고 간결하고 모든 부분을 컨트롤 할 수 있는 llama.cpp.

앞으로 LLM이 on-device에 구동될 일이 많아질 것이고 그렇다면 llama.cpp 같은 가볍고 간결한 프레임워크의 수요도 점점 늘어날 거라 생각됩니다. ggml로 직접 모델을 inference하고 최적화하는 일도 앞으로는 많이 생길 거 같고요. 물론 오픈소스 진영에서 대신 구현해 줄 거기 때문에 대부분은 그저 가져다 쓰기만 하겠지만요.

[shrely]

현실로 다가 오는 나노식품(#nanofood)과 #AI사피언스 시대의 #AI전쟁, ‘#무기실리콘밸리’로 변한 우러~이팔전쟁 등에 AI가 #작전지휘, #드론공격 등 #첨단전쟁 양상이 전개되고 있다. #호킹의 경고처럼 “AI가 인류를 멸망시킬 수도 있겠다는 생각이 든다. #국방지능융합회 창설식과 #미래국방전략 세미나 초대받아 #국방자문위원회 비상임 #사무총장으로 임명되어, #핵무기와 #인구감소 및 #사이버전 대비 민군경계가 없다는 주제로 #GPU #엔디비아 #오픈소스 #악성코드 #GTP5 #해킹 악용유해성 #사이버전자전 #위성무력화 #식량무기 #대량살상 #생화학무기 등 논제로 발표하였다. #나노식품 #영양전달체 #창시자 #김동명

[black7375]

몇달 이내로 돈받고 오픈소스 작업을 해볼 기회가 생길 것 같다

[ee22iicoi]

👌RG552 오픈소스 콘솔 게임기 안드로이드 PSP GBA 포켓몬스터 TV, 블랙 16G+ 강화막 표준배치 + A + A👌

🍰 주문하기 🏹클릭하기

📌이 포스팅은 쿠팡 파트너스 제휴활동의 일환으로,일정액의 수수료를 제공받습니다.

📣가격비교는 물론 다양한 상품후기를 참고해주세요📣

📢죄송하지만 메신저(쪽지)와 DM은 못읽어요ㅠㅠ

[chocolatekingdompenguin]

💥RG552 오픈소스 콘솔 게임기 안드로이드 PSP GBA 포켓몬스터 TV, 블랙 16G+ 강화막 표준배치 + A + A💥

🚀 구매정보 ✔️클릭하기

🖋️위 글은 쿠팡파트너스 제휴활동의 일환으로 일정액의 수수료를 제공받고 있습니다.

‼️가격비교는 물론 다양한 상품후기를 참고해주세요✔️

🙅메신저(쪽지)와 DM은 NO!

[trendstips]

#free ai#ai marketing#ai tool #ai image #ai LLM

[crayon-market]

💥RG552 오픈소스 콘솔 게임기 안드로이드 PSP GBA 포켓몬스터 TV, 블랙 16G+ 강화막 표준배치 + A + A💥

🧡 주문하기 👈클릭

📌본 포스팅은 쿠팡 파트너스 제휴활동의 일환으로,일정액의 수수료를 제공받습니다.

✔️가격비교는 물론 다양한 상품후기를 참고해주세요✔️

😂죄송하지만 메신저(쪽지)와 DM은 NO!

[tanggushopinfo]

안드로이드게임기 RG552 오픈소스 콘솔 게임기 안드로이드 PSP GBA 포켓몬스터 TV, 블랙 16G

📢쿠팡에서 아무 물건이라도 사고 싶다면 바로 여기📢

👉바로보러가기

✅이 포스팅은 쿠팡파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

[toostarlightmiracle]

💥RG552 오픈소스 콘솔 게임기 안드로이드 PSP GBA 포켓몬스터 TV, 블랙 16G+ 강화막 표준배치 + A + A💥

🚀 구매정보 ✔️클릭하기

🖋️위 글은 쿠팡파트너스 제휴활동의 일환으로 일정액의 수수료를 제공받고 있습니다.

‼️가격비교는 물론 다양한 상품후기를 참고해주세요✔️

🙅메신저(쪽지)와 DM은 NO!

[likejazz]

mamba의 numpy 구현이 나왔네요.

https://github.com/idoh/mamba.np

저도 mamba 구조를 정확히 알진 못하는데, 이걸 보면 쉽게 이해할 수 있을거라 기대됩니다. 저의 llama3 numpy 구현에 영감을 받아서 만들었다고 ^^ 이렇게 오픈소스 혁신이 이어지는거 같네요!

[yoonyoungjae01]

AMD는 이날 오픈소스 AI(인공지능) 소프트웨어 스타트업인 ‘Nod.AI’를 인수키로 했다고 밝혔다. 인수 절차는 연내 마무리한다는 계획이다. 인수 가격 등 조건은 공개하지 않았다.

[aljxnd]

폰 허브가 좋을까

폰 허브는 IBM, HP 등 PC 제조업체들이 사용하는 데스크톱용 OS이다. 이번에 발표한 것은 윈도 비스타와 동일한 인터페이스를 갖춘 유닉스 기반의 오픈소스 기반 운영체제(OS)인 ‘윈도우 7’이다 폰 허브 바로가기 링크: https://bit.ly/45a1MDq 이에 따라 인텔이나 AMD 같은 CPU 업체들은 그동안 자사 제품에 MS의 지원 프로그램을 설치하는 작업을 거치지 않아도 된다. 이와 관련해 델 컴퓨터 측은 “MS가 이번 발표에서 자사의 오피스 소프트웨어인 아웃룩과 메신저 등을 직접 언급하지는 않았다”고 전했다. 한편 이 날 발표된 새로운 윈도우7은 인터넷 익스플로러뿐 아니라 파이어폭스, 사파리, 오페라 등의 웹브라우저를 지원하는 것으로 알려져 있다. 정운찬 국무총리는 20일 국회 경제분야…