whatwewant.www

2004-04-15T18:20:00.000+07:00

A9 : Search Engine from Amazon.com

Not only web, it searches you books!
Amazon.com know what they have -- books.

Not fancy enough? A9 also keeps history of search results and site visits.

Try. a9.com

2004-03-23T02:10:00.000+07:00

Yahoo! Search

"New" web search service from Yahoo! with minimalism look.
And when look inside its functionalities, sometimes I just thinking of Google :)
(it also comes with "cache" functionality)

Anyway, try it yourself, you may find that it may be more suitable to you than Google.
http://search.yahoo.com/

2004-02-13T06:42:00.000+07:00

Who is this guy dude?

Who is the first author krub? ;)

Ratanachai Sombatsrisomboon, Yutaka Matsuo, and Mitsuru Ishizuka (2003). Aquisition of Hypernyms and Hyponyms from the WWW, in Proceedings of 2nd Int'l Workshop on Active Mining (AM2003), pp.7-13, Maebashi, Japan (in conjunction with Int'l Sympo. on Methodologies for Intelligent Systems), October, 2003.

What does it about?

2004-02-05T04:51:00.000+07:00

Rush Hour Intro to IR

by Mirella Lapata
(slides for COM3110 Text Processing class, Department of Computer Science, University of Sheffield)

breifly explains Google search, IR, issues in IR, indexing, inverted file, boolean model, vector space model, TF/IDF, term weighting, evaluation, precision, recall, and F-measure.

introduction | term manipulation & evaluation

dude: Web Information Retrieval, cool tutorial by google's research director, Monika Henzinger

2004-02-03T22:25:00.000+07:00

Managing Gigabytes (Book)

Sometimes it's more than just 'search'. We may want it 'faster', and many times we want it 'smaller'.
(And for the case of database/index size, smaller one is probably the faster one -- less things to looking for.)

Managing Gigabytes: Compressing and Indexing Documents and Images by Ian H. Witten, Alistair Moffat, and Timothy C. Bell. (read reviews)

From the authors of the book, MG, an open-source indexing and retrieval system for text, images, and textual images.

2004-02-03T22:16:00.000+07:00

Google File System

How to search things from a collection is one problem.
How to keep things (in a collection) for a searching is another problem.

And the latter one could be a really big problem, if you have to keep "3,307,998,701 web pages" like Google does.

Google File System: Technical paper, by Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung. This is a technical paper that explains Google's custom scalable cluster filesystem for storing their gigantic database of the entire Web across thousands of low-cost PCs.

From Google Weblog.

2004-02-03T18:15:00.000+07:00

Hypertext

The idea of Hypertext first recognized in As we may think, an article by Vannevar Bush in The Atlantic Monthly, July 1945.
Now WWW is the largest hypertext system created in 1991 by Tim Berners-Lee, (the first web page, web server, browser).

Timeline of Hypertext technology

2004-02-01T18:29:00.000+07:00

Vector Space Model and TF-IDF

Boolean model -terms in a document is equally weighted as 1 (exist) or 0 (not exist), and documents that satisfy a input query are returned without ranking.

Vector Space Model -view each document in a database as a vector in a vector space where number of dimensions is a number of terms in all documents in a database. The length of vector in each dimension is determined by weighting algorithm (TF-IDF is most used for this). Input query also viewed as a vector in that space, and documents near the query vector are returned and ranked (by distance; closer higher rank) as a result.

TF-IDF -weighting algorithm widely used in IR. Stands for term frequency - inverse documents frequency. The idea is terms which appears frequently in one document, but less-frequently in other documents (in database or corpus) are considered as important terms in that document (high TF-IDF weight).

2004-02-01T18:15:00.000+07:00

Information Need

About our slogan "people don't want to search it. they just want to get it".
There are a number of studies concerning "Information need and Information seeking".
This seems to be a good tutorial.

One of the most famous is Taylor's 4 levels of Information need.

Taken from page 10 of the slides.

Q1- Visceral need
Actual, but unexpressed need for information
Feeling of unease, doubt, uncertainty
Vague sense of dissatisfaction
Hard to express in words

or in short, .... "(sometimes) people don't know what they want. (but still) they just want to get it!"

bact': This book [R. Belew. Finding Out About: A Cognitive Perspective on Search Engines and the WWW. Cambridge University Press, Cambridge, 2000.] investigates and try to describes IR from the cognitive perspective (what human/user think, percept, behave, ..).

2004-01-30T19:05:00.000+07:00

Google Weblog

bact': "Everything you want and don't want to know about Google" :)

http://google.blogspace.com/

2004-01-21T00:14:00.000+07:00

Multi-Documents Summarization

Text Summarization, a home of MEAD (a public domain portable multi-document summarization system).

a summary of a collection of documents (which may comes from an automatic clustering) will help user decide if he/she wants to investigate that collection further or not -- a time saving feature :)

2004-01-19T20:45:00.000+07:00

Thumbshots for search engine -- "Stop Guessing. Take Control!"

Thumbshots.org. Featuring small picture of each webpage, so users have more clue if it a site they looking for or not.

[click here for example]

dude: What I don't understand is, how do they get so many sites adding code for them? (from the this page site owners need to add a line of code to get the thumbshot on that directory, right? They have got all this?

2004-01-18T10:57:00.000+07:00

Topic Clustering

There are more than Vivisimo out there, read about Topic Clustering at Fagan Finder.

2004-01-18T08:32:00.000+07:00

C|NET News: Search may be Microsoft's next target, court told

Microsoft may be unlawfully wielding its desktop dominance to put the squeeze on search engines and on document formats like Adobe Acrobat, the state of Massachusetts claimed on Friday.

[READ THE NEWS]

2004-01-13T01:38:00.000+07:00

Web Graphs

All people in computer science and some fields of engineering (e.g. industrial engineering?) are very familiar with "Graphs" -- those nodes and arcs. And, actually, we can represent the web as a [huge] graph. Where node=webpage, arc=(hyper)link.

From this representation, it gives us a way to understand the characteristic of the web better (as we do well with normal graphs).
graph structure in the web | web graph | more on web graph

Peer-to-Peer

Talking about representing document/site as a node in a graph, Peer-to-Peer people already done this since their early day.

Making it more relavant to this blog, one of the most popular P2P application is obviously an IR-like system -- search for mp3 song or DivX movie, given a title or singer's name.

Searching things on P2P network is not like a traditional search engine searching its database (which is a snapshot of a part of the web at a particular time, collected by spiders/web spiders).

Rather, the P2P search visits each node, doing searching in that node, jump to other node .. and so on, in "real time". Clearly, it is impossible to visits every nodes in the network, there are just too many nodes out there. To decide which node it will make a visit or not, it needs a routing algorithm.

As a result, we can simplified a search problem in P2P network as a routing problem, loosely.
[ to find a document is to find a way to that document ]

There are even some more advance routing algorithm that use semantics!

bact': I used to think about using NLP with P2P routing. But it just "thinking" anyway, never do .. lazy me :(

2004-01-12T05:46:00.000+07:00

Talking about Document Clustering/Categorization/Classification, about 'approach' to aid user access to montains of pages may be a Summarization.
Instead of just only page title, url, and few first (nonsense) paragraphs from the page.
Short summaries may help users to decide which pages are whattheywant and whattheydontwant.

นอกจากจะแบ่งกลุ่มเอกสารที่หามาได้ ให้หา(ต่อโดยผู้ใช้ว่าอันไหนจะเอา อันไหนไม่เอา)ง่ายๆ แล้ว
ถ้าเรามีเนื้อหาย่อๆ ของเอกสารแต่ละหน้า ก็น่าจะทำให้ผู้ใช้ตัดสินใจได้ง่ายขึ้น เร็วขึ้น
อ่านเปเปอร์ข้างล่าง ถ้าสนใจ:

For papers about Summarization for Search Engine, try starts from here:
Dragomir R. Radev, Weiguo Fan (2000), "Automatic summarization of search engine hit lists".

CiteSeer? Hey! Citation graph is also another feature that we can use, .. have no idea about it yet.
จริงๆ การใช้หลักของ citation ในเปเปอร์ มันก็ช่วยบอกอะไรบางอย่างเกี่ยวกะ "ความสำคัญ" และ "ความเกี่ยวข้อง" ของเอกสารได้
ถ้าอ้างถึงกัน มันก็น่าจะเกี่ยวกัน และถ้าถูกอ้างถึงบ่อย ก็แสดงว่ามันน่าจะสำคัญ (ทำนอง PageRank เลย?)

?

keng ใช่ดิ web structure mining ไง อย่างrelated: url ของgoogleรึว่าของsearch engineอื่นๆก็ใช้อันนี้แหละ (discovery of web community)

เอาอีกแล้ว อะไรจะบังเอิญขนาดนี้ พูดเรื่อง authority/hub อยู่พอดีวันนี้ (@siit.net)
"ถ้าถูกอ้างถึงบ่อย ก็แสดงว่ามันน่าจะสำคัญ" -> authority.
กลับกันเรียกว่า hub (อ้างถึงที่สำคัญบ่อยๆ)

ตัวอย่าง paperของหาrelated page

bact': Yes, this means "web structure" does not limited to "hyperlinks" only. But could be any kind of link or structure, and possibly an internal link within the same document (some summarization techniques use this "internal links" to find out "most relevance sentences", and select them to form a summary).

2004-01-11T11:52:00.000+07:00

PageRank explained

A Survey of Google's PageRank
PageRank is one of algorithms used by Google search engine.
If you want to know how PageRank works, this is the site.

dudeอธิบายวิธีคำนวณPageRankด้วยภาษาไทยหนึ่งบรรทัด
PageRankของเพจใดๆคำนวณหาด้วยการนำค่าPageRankหารด้วยจำนวนลิงก์ออกของเพจที่ลิงก์มาหาทั้งหมดมารวมเข้าด้วยกัน

2004-01-11T11:18:00.000+07:00

Vivisimo, a threat to Google's search throne?

วันก่อนได้รู้จักกับ Vivisimo และประทับใจกับความสามารถของมัน ที่สามารถแบ่งผลลัพธ์ของการค้นหาออกเป็นกลุ่มๆ ได้อย่างรวดเร็ว โดยใช้ document clustering technique (ซึ่งไม่รู้ว่ามีsearch engineทางการค้าที่ไหนเคยนำเทคนิคนี้มาใช้ก่อนรึเปล่า)

vivisimoเป็นmeta-searchยังต้องพึ่งsearch engineของที่อื่นอยู่ ซึ่งทำให้มีของเสียคือ
1) ช้า ต้องรอผลของจากsearch engineที่อื่น
2) precision & recall ขึ้นอยู่กับผลลัพธ์ของsearch engineที่เอามาใช้

ข้อดีของvivisimoคือสามารถแบ่งผลลัพธ์ออกเป็นกลุ่มๆ ได้อย่างรวดเร็ว ซึ่งแทนที่ผู้ใช้จะต้องเสียเวลาหาเอกสารที่ต้องการจากเอกสารจำนวนมากมาย ผู้ใช้สามารถเลือกค้นหาเฉพาะในกลุ่มเอกสารที่สนใจได้
แต่ด้วยสถานการณ์ของการใช้search engineที่หลากหลาย vivisimoก็มีเอาไว้ใช้แค่ในบางโอกาส ที่อยากจะเรียนรู้เกี่ยวกับสิ่งที่ค้นหา แต่จะไม่ใช่เป็นsearch engineหลักของผู้ใช้

ปัญหาคือประสิทธิภาพในการแบ่งกลุ่ม ถ้าไม่สามารถแบ่งกลุ่มได้ดีมีความหมายสำหรับผู้ใช้ ผู้ใช้ก็จะเลิกใช้เพราะว่าgoogleให้ผลลัพธ์ที่เร็วและน่าเชื่อถือกว่า (น่าเชื่อถือกว่าเพราะgoogleชื่อเสียงดีกว่า) vivisimoก็จะเป็นเพียงแค่ของเล่น ดูเพลินๆ

แต่ถ้าgoogleนำเทคนิคนี้มาใช้เมื่อไหร่และสามารถแบ่งกลุ่มได้ดีเท่าvivisimo vivisimoก็คงจะนอนทันที (vivisimoเป็นผู้เชี่ยวชาญเรื่องdocument clustering ถ้าเรื่องที่ตัวเองเชี่ยวแล้วทำได้ยังแพ้googleก็สมควรนอน)

อะไรจะเกิดขึ้น?
1) Googleจะให้บริการdocument clusteringด้วย แต่เป็นเพียงแค่ฟังก์ชั่นเสริมสำหรับให้ผู้ใช้ใช้ในบางโอกาส (Googleอาจจะทำเองรึว่าซื้อvivisimoซะเลย รึไม่ก็อาจจะอยู่แค่ในgoogle labs โชว์ว่าตัวเองก็ทำได้)
2) Googleไม่สนใจเพราะคิดว่าเป็นแค่ของเล่น มุ่งเน้นสิ่งที่จำเป็นดีกว่า

bact': ข่าว CNN กะที่ Slashdot.org สองอัน อันนี้ กะ อันนี้ เกี่ยวกับ Vivisimo
ไม่คิดว่า Vivisimo จะต้องการทำ search engine นะ ที่เวบมันเหมือนเป็น demo มากกว่า ว่าตัว clustering engine ของเค้าทำอะไรได้บ้าง .. คือเหมือนของที่เค้าขายจริงๆ คือ clustering engine มากกว่าน่ะ (แล้วลูกค้ากลุ่มนึงที่เค้าจะขาย ก็คือ search engine ด้วย)
อีกอย่าง คิดว่า document clusering ก็เป็นสิ่งจำเป็นเหมือนกันนะ สำหรับทุกวันนี้ซึ่งจำนวนข้อมูลมันเยอะเหลือเกิน ถ้ามีใครมาแบ่งให้ ก็น่าจะ(คน)หาง่ายขึ้น -- ประมาณหมายเลขชั้นในห้องสมุด
dude: obviously you are right. In vivisimo's homepage they state clearly document clustering ENGINE, not "Hey! we are coming now in SE folks". โง่วะ อายจังเลย

2004-01-11T08:02:00.000+07:00

Information Retrieval (and related) research groups in Thailand

CRL Thai Computational Linguistics Lab
CU Machine Intelligence and Knowledge Discovery Lab
KU NAiST Lab
KU Intelligent Information Retrieval and Database Lab
NECTEC RD-I4: Text Processing Technology Group
SIIT Knowledge Information & Data Management Lab
SIIT KIND IRDM

2004-01-10T06:14:00.000+07:00

เมืองไทยมีที่ไหนทำ Question-Answering บ้างรึเปล่า?

มันก็ประมาณ Information Extraction อะไรประมาณนี้แหละ
ที่ TREC ก็มี QA Track ด้วย
ปีที่ผ่านมา (2003) ทีมจากมหาลัยของสิงคโปร์ (NUS) ได้ที่ 3 จากทีมทั้งหมดที่ร่วมประเมิน และเป็นที่ 1 ถ้านับเฉพาะสถาบันการศึกษา .. อันนี้พูดไปงั้นๆ แบบว่าเผื่อจะจุดประกายอะไรในเมืองไทยมั่ง :P

dude: เคยอ่านเจอว่ามหาลัยเกษตรก็ส่งไป TREC เหมือนกัน ก็ไม่รู้เหมือนกันว่ารวมๆ แล้ว ที่ไทยทำกันบ้างรึเปล่า
เกี่ยวกับเรื่องการวิจัยนิดหน่อย ในสาขาไอทีนี้ ชื่อก็บอกแล้วว่าเป็นเทคโนโลยีด้านข้อมูล แต่ก่อนข้อมูลที่คอมพิวเตอร์ประมวลผลได้ ต้องเป็นอะไรที่ไม่สับซ้อน แต่เดียวนี้เทคโนโลยีก้าวหน้า คอมพิวเตอร์เริ่มสามารถเข้าใจภาษามนุษย์กันได้แล้ว แต่ก็เป็นภาษาๆ ไป ถ้าภาษาไทยคนไทยไม่ทำแล้วใครจะทำ คนต่างชาติทำให้ แล้วก็ให้ชาวนาปลูกกระหล่ำปีไปแลก ส่วนวิศวกรไทยก็ทำหน้าที่เป็นล่าม? เห็นนักวิจัยญี่ปุ่นที่นี่จดสิทธิบัตร วิธีการป้อนภาษาไทยลงมือถือแล้วมันน่าเจ็บใจ นักวิชาการไทยทำอะไรอยู่? วิจัยมาตราฐานใหม่ด้านนู้นด้านนี้สำหรับโลก? วิจัยเสร็จก็เหลือแต่เป็น CV หนึ่งบรรทัด .. อันนี้พูดไปงั้นๆ แบบว่าเผื่อจะจุดประกายอะไรในเมืองไทยมั่ง :D
bact': เอาจริงดิ จริงๆ ถ้าพูดถึงกลุ่มด้าน IR แล้ว เกษตรคงใหญ่สุดในเมืองไทย เพิ่งได้รับทุนจาก NECTEC ไปด้วย หลายล้านอยู่ ให้ทำระบบช่วยตัดสินใจสำหรับคณะรัฐมนตรี ทำนองนั้น (NAiST Lab นำโดยอ.อัศนีย์ เป็น Center of Exellence ในโครงการความร่วมมือกับหน่วยงานวิจัยภายนอกของ NECTEC ด้วย) .. แต่คงลง track อื่นมั้ง ไม่ใช่ QA track
พูดถึงเรื่องนักวิจัยญี่ปุ่น จริงๆ ก็มีนักวิจัยไทยทำงานด้านภาษาไทยอยู่ในญี่ปุ่นเยอะเหมือนกัน อาจจะมีคนญี่ปุ่น lead บางตัว แต่ก็มีที่ทำเองหมดไม่ใช่น้อย แน่นอนว่าทำเสร็จแล้ว ผลงานก็ต้องเป็นของหน่วยงานที่สังกัด อันนี้มันก็อาจจะน่าเจ็บใจ แต่คิดอีกที ถ้าเอาคนกลุ่มนี้กลับไปอยู่เมืองไทย จะมีใครให้โอกาสเค้าทำอะไรรึเปล่า?

2004-01-08T12:30:00.000+07:00

For a quick start, we may 'captured' those posts in siit.net webboard and put them here.

Btw, I'm very very new to blogging. Don't sure whether the nature of blogs can well used for a 'structured'/'organized' resources or not (e.g. links repository, faqs/QA).
dude: อยากรู้เหมือนกันว่าได้ปล่าว แต่ต้องได้ดิ
bact': let's see.

And what's the primary language we will use in this blog?
จะใช้ภาษาไทย หรือ ภาษาอังกฤษดี เวบแบบนี้ ภาษาอังกฤษมันมีอยู่แล้วรึเปล่า
แบบว่า อยากให้คนไทยได้อ่านขนาดไหน ทำนองนั้น
dude: คิดเหมือนกัน. ตอนแรกก็ว่าจะให้เป็นภาษาไทย เพราะว่ามันคงมีทำนองนี้เป็นภาษาอังกฤษอยู่แล้ว แต่คิดอีกแง่หนึ่ง ถ้าเป็นภาษาอังกฤษ คนไทยก็อ่านได้ คนชาติอื่นก็อ่านได้ จะเอาไปอ้างอิงที่ไหนก็ได้ไม่ต้องแปลอีกที ตอนแรกว่าตั้งใจจะทำเป็นภาษาไทยเพื่อจะได้ช่วยให้เวบไทยมีอะไรเป็นสาระทางด้านนี้ด้วย แต่ถามตอนนี้เราว่าอังกฤษ
bact': OK, the primary language will be English. Anyway, for my post will try to be bi-lingual, where possible.

2004-01-08T02:44:00.000+07:00

To do list.
- papers page (link to papers about IR and related. with summary would be nice)
- search engine page (list of search engines with review and score?)
- probably with QA, Directory, Portal and stuffs too.
- News on the first page blog style (just post with some comments)
- what else?